目に見えないウェブはそこにあり、ダークウェブとは大きく異なっています
不可視Webとは何ですか？
あなたは、検索エンジンが特定の検索なしであなたに表示されない膨大な量のデータがあることを知っていますか？ 「目に見えないウェブ」という用語は、主に、 検索エンジンやディレクトリがデータベースなどの直接アクセス権を持たない膨大な情報リポジトリを指します。
可視Web上のページ（検索エンジンやディレクトリからアクセスできるWeb）とは異なり、データベース内の情報は一般に、検索エンジンのインデックスを作成するソフトウェアスパイダーやクローラーにはアクセスできません。 ユーザーはこの情報のほとんどにアクセスできますが、この情報がどこにあるのかを確認する特定の検索を通じてのみアクセスできます。
見えないWebはどれくらい大きいのですか？
目に見えないWebは、文字通り一般的な検索エンジンのクエリで見つかったWebコンテンツの数千倍も大きいと推定されます。 Invisible Webコンテンツ抽出に特化した検索組織であるBright Planetによると、Invisible Webには、表面Webの10億個に比べて、約5,500億個の個別の文書が含まれています。
Google 、Yahoo、 Bingの主要検索エンジンは、特殊な検索パラメータや検索専門知識を持たないコンテンツを見ることができないため、一般的な検索ですべての「隠された」コンテンツを戻すことはありません。 ただし、検索者がこのデータにアクセスする方法を知っていれば、利用できる膨大な情報があります。
なぜそれは「目に見えないウェブ」と呼ばれていますか？
基本的に小さなソフトウェアプログラムであるスパイダーは、発見したページのアドレスを索引付けしてWeb全体を徘徊します。 これらのソフトウェアプログラムは、目に見えないWebからのページに入っても、何をすればよいか分かりません。 これらのスパイダーはアドレスを記録できますが、ページに含まれる情報については何もアクセスできません。
どうして？ 多くの要因がありますが、主に技術的な障壁に沸き、サイトの所有者が検索エンジンのスパイダーからページを除外する意思決定を検討します。 たとえば、情報にアクセスするためにパスワードが必要な大学の図書館サイトは、検索エンジンの検索結果には含まれず、検索エンジンのスパイダーでは読みにくいスクリプトベースのページも含まれます。
不可視ウェブはなぜ重要なのですか？
多くのユーザーは、GoogleやYahooで見つけられるものに固執するのが簡単だと信じています。 しかし、検索エンジンで探しているものを見つけることは、特に複雑で不明瞭なものを探している場合は、必ずしも容易ではありません。
膨大なライブラリとしてWebを考えてみましょう。 ほとんどの人は、正面玄関を歩いてすぐにフロントデスクに横たわるペーパークリップの歴史に関する情報をすぐに見つけることを期待しません。 彼らはそれを掘ることを期待するだろう。 これは、検索エンジンが必ずしもあなたに役立つわけではありませんが、不可視のWebは役に立ちます。
検索エンジンがWebのごく一部を検索するだけのため、Invisible Webは非常に魅力的なリソースになります。 私たちが想像する以上に多くの情報があります。
見えないWebを使うには？
他にもまったく同じ質問をしてきた人が多く、目に見えないWebへの出発点となる素晴らしいサイトをまとめています。 さまざまな科目のためのいくつかのゲートウェイがあります：
人文科学
- Voice of the Shuttle：1994年に始まったVoSは、人類学から作文の技術まで、主題のための独占的な索引を提供し、Web上で最も古く、最大の人文データベースの1つです。
米国政府特有の
- ミシガン大学政府書類センター：米国政府のあらゆるレベルの報告書、統計書、その他の書類がここにあります。 データベースには、芸術、健康科学、社会科学、国際研究などがあります。
- USA.gov：米国政府の多くの団体の深みに浸る赤いカーペットの入り口。 政府の雇用、政府機関のAからZまでのリスト、助成金、融資、財政援助を見つけるための情報が含まれています。
健康と科学
- PsycNET：American Psychological Associationのこのデータベースを使用して、様々な心理的なトピックに関する抄録や全ジャーナルを見つけることができます（料金は完全なジャーナルエントリに適用され、抄録は通常無料です）。
- ヘルスファインダー：Web上の1,000を超えるさまざまな健康データベースから専門的に査定された情報。 めまぐるしく混乱している健康問題に関する幅広いリソースがここにあります。
- RXList：信頼できる薬物情報を探しているなら、この処方薬、投薬薬、および錠剤識別のためのデータベースはあなたのためのものです。 A〜Zインデックス、画像コレクション、用語の辞書を提供します。
メガポータル
- バーチャルライブラリは簡単で使いやすく、注釈付きのリンクもあります。 無関係な検索時間を排除するのに役立ちますので、特に注釈に感謝します。
他の目に見えないWebリソースについて
Invisible Webを掘り起こすために設定されたサイトは数多くあります。 Invisible Webの情報のほとんどは学術機関によって管理されており、検索エンジンの結果よりも高品質です。 この情報を見つけるのに役立つ「アカデミック・ゲートウェイ」があります。 Web上のほぼすべての教育リソースを見つけるには、この検索文字列をあなたのお気に入りの検索エンジンに入力するだけです：
サイト：.edu "私が探している主題"
あなたの検索は、.edu関連サイトのみで返されます。 特定の学校を検索したい場合は、その学校のURLを検索に使用します。
サイト：www.school.edu "subject私が探している"
2単語以上の場合、あなたの件名を引用符で囲みます。 これにより、使用している検索エンジンでは、これらの2つの単語をすぐ隣に見つけることができます。 あなたのウェブ検索をより堪能にするための検索トリックの詳細をご覧ください 。
見えないウェブについてのボトムライン
Invisible Webは、あなたが考えることのできるものに膨大なリソースを提供しています。 この記事で強調表示されているリンクは、目に見えないWeb上で利用可能な膨大なリソースにほとんど触れ始めません。 時間が経つにつれて、目に見えないWebはもっと大きくなるだけで、それを今探検する方法を学ぶのは良い考えです。