Феномены интернета: невидимая Сеть

Невидимая Сеть (invisible Web) — коллекция доступных для поиска веб-сайтов, чье содержание содержится в базах данных и не включено в индекс традиционных поисковиков.

У всех поисковиков «общего пользования» имеется одна общая проблема, и большинство людей о ней даже не знает. А проблема формулируется предельно просто: огромная часть интернета для поисковиков абсолютно невидима.

Невидимая Сеть состоит из различных баз данных. Эта исключительно ценная информация, к сожалению, недоступна для индексирования программами обычных поисковиков, таких как «Яндекс» , Google , Yahoo! и т.д. Другими словами, мы пока не можем получить доступ к этой информации стандартными средствами, которыми пользуемся каждый день.

Пауки поисковых машин обходят весь интернет и индексируют информацию. Когда они встречают такую базу данных, это похоже на несчастный случай — как будто вы врезались в массивную и плотно закрытую дверь библиотеки. В результате поисковик может назвать адрес этой библиотеки, но никогда не скажет, какие книги, журналы и другие документы там хранятся. Типичный пример — информационно-поисковая система по российскому законодательству. Тысячи документов из базы данных становятся доступны только после входа в систему, а пауки «Яндекса» не могут проникнуть в защищенную часть сайта.

К счастью, в интернете есть сайты-путеводители по ресурсам, составляющим невидимую Сеть, а также специализированные программы. Вот некоторые из них:

Infomine Multiple Database Search (академический инструмент поиска по университетским архивам, библиотекам и книгам), BUBL LINK (каталог информационных сайтов, которые уникальны в своей областях), Scirus (поиск научной информации на специализированных сайтах), Amazon.com (полнотекстовый поиск по содержанию всех книг).

В статье , посвященной «невидимой Сети», газета New York Times тоже приводит несколько примеров. Например, лучшим ресурсом по американскому законодательству назван сайт FindLaw.com , лучший сайт для сравнения цен — MySimon.com , наиболее полная финансовая информация — FinancialFind.com , а информацию из научно-популярных журналов и научных баз данных о биотехнологиях можно найти на Biolinks.com . Все эти сайты являются «порталами» для входа в невидимую Сеть, которая практически полностью отсутствует на Google.

Текст новостей тоже традиционно относился к невидимой Сети, но в последние годы все крупнейшие поисковые сайты разработали эффективные инструменты поиска новостей с ежеминутным обновлением: это, например, «Яндекс.Новости» и Google News .

Преимущество «невидимых ресурсов» — в их узкой специализации. Это такие же поисковые машины, но они настолько узко специализируются в своей отрасли, что позволяет авторам проекта вручную писать программы для доступа к отдельным базам данных или опять же вручную добавлять информацию в индекс. Поисковые машины невидимой Сети — это штучные автомобили ручной сборки по сравнению с массовыми моделями популярных поисковиков.