Что такое OSINT | ОСИНТ инструменты для поиска информации в открытых источниках

OSINT - основные понятия и определения. OSINT tools

OSINT (Open Source Intelligence) — это разведка на основе открытых источников информации. В США OSINT играет важную роль в деятельности разведывательного сообщества, включая такие организации, как ЦРУ, ФБР и Агентство национальной безопасности (NSA). Основные цели OSINT:

Сбор информации из открытых источников: СМИ, социальные сети, публичные базы данных, форумы, правительственные отчёты и другие общедоступные ресурсы.
Анализ и корреляция данных: Превращение собранной информации в полезную разведывательную информацию через анализ, сопоставление и выявление паттернов.
Поддержка принятия решений: Обеспечение актуальной информацией для стратегических и тактических решений в области национальной безопасности.

Полезные OSINT инструменты в телеграме (всегда рабочие ссылки)

Инструменты и методы, используемые в OSINT:

1. Социальные сети и мониторинг СМИ:

Maltego - https://www.maltego.com
TweetDeck - https://tweetdeck.twitter.com
Hootsuite - https://hootsuite.com
Social Searcher - https://www.social-searcher.com
CrowdTangle - https://www.crowdtangle.com
BuzzSumo - https://buzzsumo.com
Brandwatch - https://www.brandwatch.com
Talkwalker - https://www.talkwalker.com
Mention - https://mention.com
Netvibes - https://www.netvibes.com
Meltwater - https://www.meltwater.com
Dataminr - https://www.dataminr.com
Twint - https://github.com/twintproject/twint
Screaming Frog - https://www.screamingfrog.co.uk
Tineye - https://tineye.com
OSINT Framework - https://osintframework.com
Spyse - https://spyse.com
Pipl - https://pipl.com
Shodan - https://www.shodan.io
Foca - https://elevenpaths.com

2. Поисковые системы и специализированные платформы:

Google Dorks - https://www.exploit-db.com/google-hacking-database
Bing - https://www.bing.com
DuckDuckGo - https://duckduckgo.com
Yandex - https://www.yandex.com
ZoomInfo - https://www.zoominfo.com
Crunchbase - https://www.crunchbase.com
Whois Lookup - https://whois.domaintools.com
Censys - https://censys.io
Hunter.io - https://hunter.io
BuiltWith - https://builtwith.com
Wayback Machine - https://archive.org/web
Exalead - https://www.exalead.com/search/
Intelligence X - https://intelx.io
PublicWWW - https://publicwww.com
PeepL - https://www.peepl.us
AlienVault Open Threat Exchange - https://otx.alienvault.com
GrayHatWarfare - https://grayhatwarfare.com
Creepy - https://www.geocreepy.com
Shodan - https://www.shodan.io
Ahmia (для Tor) - https://ahmia.fi

3. Геопространственный анализ:

Google Earth - https://earth.google.com
OpenStreetMap - https://www.openstreetmap.org
Mapillary - https://www.mapillary.com
GeoNames - http://www.geonames.org
ArcGIS Online - https://www.arcgis.com
Sentinel Hub - https://www.sentinel-hub.com
GPS Visualizer - http://www.gpsvisualizer.com
Geofeedia - https://www.geofeedia.com
GeoIQ - https://geoiq.io
CartoDB - https://carto.com
Geocode.xyz - https://geocode.xyz
Terraserver - https://www.terraserver.com
QGIS - https://qgis.org
HERE Maps - https://www.here.com
Wikimapia - http://wikimapia.org
Zoom Earth - https://zoom.earth
Gaia GPS - https://www.gaiagps.com
Bing Maps - https://www.bing.com/maps
LandViewer - https://eos.com/landviewer
SAS Planet - http://www.sasgis.org/sasplaneta/

4. Аналитические платформы:

Palantir - https://www.palantir.com
IBM i2 Analyst’s Notebook - https://www.ibm.com/products/i2-analysts-notebook
Splunk - https://www.splunk.com
Recorded Future - https://www.recordedfuture.com
Dataiku - https://www.dataiku.com
Microsoft Power BI - https://powerbi.microsoft.com
Tableau - https://www.tableau.com
KNIME - https://www.knime.com
DataRobot - https://www.datarobot.com
Cybersixgill - https://www.cybersixgill.com
Socrata - https://socrata.com
Farsight Security - https://www.farsightsecurity.com
Crimson Hexagon - https://www.crimsonhexagon.com
Alteryx - https://www.alteryx.com
Datadog - https://www.datadoghq.com
Qlik - https://www.qlik.com
SAS - https://www.sas.com
Neo4j - https://neo4j.com
Anodot - https://www.anodot.com
Sift Science - https://sift.com

5. Киберразведка:

Chainalysis - https://www.chainalysis.com
Elliptic - https://www.elliptic.co
CipherTrace - https://www.ciphertrace.com
Crystal Blockchain - https://crystalblockchain.com
TRM Labs - https://www.trmlabs.com
Coinfirm - https://www.coinfirm.com
Bitfury Crystal - https://crystalplatform.com
Maltego (с крипто-плагинами) - https://www.maltego.com
Clara - https://clara.io
Xrplorer - https://xrplorer.com
Blockchain Explorer by Blockcypher - https://live.blockcypher.com
Etherscan - https://etherscan.io
BitcoinWhosWho - https://www.bitcoinwhoswho.com
Neutrino - https://neutrino.nu
Scorechain - https://www.scorechain.com
Merkle Science - https://www.merklescience.com
KYT (Know Your Transaction) by Chainalysis - https://www.chainalysis.com/kyc-aml
Blockchair - https://blockchair.com
Coinpath by Bitquery - https://bitquery.io
Whale Alert - https://whale-alert.io

Три примера из жизни использования комплекса инструментов для решения OSINT задач

Пример 1: Расследование террористической активности через социальные сети

Задача: Выявить и мониторить потенциальные угрозы национальной безопасности, исходящие от экстремистских групп в социальных сетях.

Инструменты и методы:

Социальный мониторинг: Использование инструментов типа Hootsuite или Mention для отслеживания ключевых слов и фраз, связанных с экстремизмом.
Анализ социальных сетей: Применение Maltego для построения графов связей между подозреваемыми лицами и группами.
Языковой и контент-анализ: Использование NLP (Natural Language Processing) инструментов для анализа риторики и выявления призывов к действию.

Результат: Обнаружение группы лиц, планирующих потенциальные атаки, что позволило правоохранительным органам принять превентивные меры.


Пример 2: Выявление сетей торговли людьми

Задача: Идентифицировать и разоблачить международную сеть торговли людьми, действующую через онлайн-платформы.

Инструменты и методы:

Web-scraping: Автоматический сбор данных с объявлений на подозрительных веб-сайтах с помощью Python и библиотеки Beautiful Soup.
Геолокационный анализ: Использование данных EXIF из изображений для определения местоположения.
Анализ криптовалютных транзакций: Применение инструментов, таких как Chainalysis, для отслеживания финансовых потоков.

Результат: Предоставление собранных данных международным правоохранительным органам, что привело к аресту ключевых фигур сети.


Пример 3: Киберразведка и предотвращение кибератак

Задача: Предотвратить масштабную кибератаку на инфраструктуру энергетического сектора.

Инструменты и методы:

Мониторинг даркнета: Использование специализированных сервисов для отслеживания обсуждений и утечек в даркнете.
Анализ вредоносного ПО: Применение инструментов типа IDA Pro или Wireshark для анализа обнаруженных вредоносных программ.
Обратная связь с киберсообществом: Взаимодействие с CERT (Computer Emergency Response Team) для обмена информацией о выявленных угрозах.

Результат: Ранняя идентификация планируемой атаки и обновление систем безопасности, что позволило избежать компрометации критически важной инфраструктуры.

Пробив

На самом деле пробив дело тонкое и для каждой страны свой подход, особенное, если дело касается другого языка, культуры и менталитета.
Так же стоит учитывать, что если вам надо найти человека там где вы не живёте вам ничего не будет, в отличии от ситуации, когда вы ищите человека в своей стране, товарищ майор всегда находится в соседней квартире :-).

Итак, в настоящее время в Росси, да и в СНГ целом популярными ресурсами пробива являются несколько +- дешевых сервисов, это userbox , глаз бога и химера . Этих сервисов вполне хватит для того, чтобы вспомнить день рождение друга, место где вы в последний раз заказывали суши или может вам очень стало интересно, что о вас известно интернету. Ни в коем случае не советую использовать эти сервисы в корыстных целях, попасть на вилы правосудия куда легче чем кажется, поэтому все знания и умения надо применять с пониманием последствий, даже если вы альтруист и готовы жизнь отдать ради народа, не стоит играть в героя, для этого существуют органы правопорядка, мир сложнее чем вы думаете.

Я отдалился от темы разговора, продолжим.
А что же тогда про пробив в других странах, а конкретно сегодня рассматриваем США? В качестве примера я вам покажу некоторые сервисы похожие на те, что есть в СНГ.

1. Spokeo
Это поисковая система для людей, которая позволяет находить информацию о людях на основе различных данных, таких как:

- номер телефона
- адрес электронной почты
- имя
- адрес

Spokeo собирает данные из публичных источников и социальных сетей.
Один запрос стоит в среднем 1 доллар США, в принципе небольшая цена, с учетом того, что полноценное расследование OSINT обычно стоит порядка 2000 долларов США.



2. Pipl

Pipl – это поисковая система для поиска людей, которая использует информацию из интернета, социальных сетей, и закрытых баз данных. Она часто используется для проверки биографической информации и расследований.
Это коммерческий продукт для бизнес предприятий, так что, чтобы его заполучить вам понадобится кругленькая сумма, ну и своеобразный подход, для убеждения их в том, что вам их продукт нужен в искренне благих целях. Если знаете другой способ получения этого продукта, вам никто не мешает им воспользоваться... Я предпочитаю старый проверенный способ социальной инженерии.


3. BeenVerified

Онлайн-сервис, который предоставляет доступ к публичным данным, включая информацию о недвижимости, судебные записи, адреса, телефоны и профили в социальных сетях.
Лично моё мнение, сервис пятьдесят на пятьдесят, ничего необычного, но стоит попробовать, если прям везде нет информации.


4. TruthFinder

Это другой инструмент для поиска людей в США, который предлагает информацию из публичных данных, включая криминальные записи, историю мест проживания, телефонные номера и даже профили в социальных сетях.


5. Intelius

Инструмент для проведения проверок биографических данных. Intelius предоставляет доступ к контактной информации, адресам, истории телефонных звонков, а также к уголовным и судебным записям.


6. Clearview AI


Это более специфичный инструмент, основанный на технологии распознавания лиц. Clearview AI позволяет правоохранительным органам и другим организациям искать людей по фотографиям через доступ к огромной базе изображений из социальных сетей и открытых источников.


И подобных сервисов очень много, но самый сок не в сервисах пробивах, а базах, сливах и т.д.
Чтобы найти такие базы, необходимо шерстить форумы, собирать всё по крупицам. И самое важное уметь пользоваться дорками поисковиков.

Примерный список поисковиков которыми вы должны владеть:

Google
Bing
Yahoo!
Baidu
Yandex
DuckDuckGo
Ecosia
Ask Naver
Seznam

В большинстве есть возможности поиска по картинке, картам, панорамам и т.д. Считаю, что запилить отдельный гайд по доркам на 2024 год этих поисковиков стоит, но в этом мы говорим о OSINT в США.
Для примера покажу, как можно искать мелкие базы в США:


Или если ищите данные по конкретному пользователю, то можете попробовать вбить его ник, почту, пароль, если знаете или что-то там ещё, попробовать разные форматы файлов, разные поисковики и посмотреть результат

Конечно всё это дело можно автоматизировать, по факту это просто парсер данных с поисковиков, покупаете или получаете API ключи к поисковикам, смотрите документацию или спрашиваете chatGPT и всё, считай дело в шляпе, вы мега крутой пробивальщик осинтер - подумаете вы... Но нет, чтобы быть реально востребованным специалистом, быть выше на голову других мало владеть способностью гуглить и писать промпты в GPT, надо уметь думать.

Собственно, поэтому к задаче по OSINT, связанной как раз с США, те кому будет интересно, сначала решат её сами, а потом посмотрят наше решение, а те кто хочет просто получить некий опыт и посмотреть какие бывают виды поиска, придётся подождать, т.к. решение выйдет в следующем "номере".

Полезные OSINT инструменты в телеграме (всегда рабочие ссылки)

Life-Hack - Жизнь-Взлом
OSINT
Alt text
Обращаем внимание, что все материалы в этом блоге представляют личное мнение их авторов. Редакция SecurityLab.ru не несет ответственности за точность, полноту и достоверность опубликованных данных. Вся информация предоставлена «как есть» и может не соответствовать официальной позиции компании.

Ищем темную материю и подписчиков!

Одно найти легче, чем другое. Спойлер: это не темная материя

Станьте частью научной Вселенной — подпишитесь

Life Hack

Сообщество по информационной безопасности. Мы в телеграме - https://t.me/haccking