Ключевые факторы эффективной обработки и анализа TI-данных

erid:Kra242E7k

Переформулировав известную фразу «Кто владеет информацией, тот владеет миром», можно сказать: «Тот, кто владеет наиболее полной информаций о методах и способах кибератак, способен выстроить адекватные механизмы реагирования и защиты своей компании в киберпространстве».

На просторах Интернета информации о кибератаках очень много и, как правило, наиболее полезная содержится в отчетах о киберугрозах (Threat Intelligence reports – TI-отчеты). Они ценны тем, что аккумулируют информацию, собираемую тысячами defense-экспертов (и не только) по всему миру – своеобразный community driven подход в мире ИБ. О том, как собирать эту информацию, где хранить, как обрабатывать и, самое главное, как не потонуть в ее огромных потоках, мы и поговорим в этой статье.

Для компаний Security Vision и RST Cloud работа с Threat Intelligence информацией во всех ее форматах и способах организации – одно из ключевые направлений, поэтому мы не понаслышке знаем, с какими «подводными камнями» приходится сталкиваться в процессе работы с TI.

Способы представления TI различных уровней

Все вы хорошо знаете, что TI можно разделить на 4 уровня: Технический, Тактический, Операционный и Стратегический.

Вместо того, чтобы давать уже набившие оскомину определения данных уровней, мы просто укажем, в каких формах представляется тот или иной уровень.

• Технический – чаще всего это сетевые и хостовые индикаторы компрометации (IP, Domain, Url, E-mail, Hash, Mutex и т.д.) в машино- и человекочитаемых форматах.
• Тактический – отчеты, сообщения в формате STIX/MISP, содержащие описание тактик, техник и процедур (TTP), используемых хакерскими группировками и ВПО.
• Операционный – отчеты по поведенческим индикаторам (IOA), таким как процессы и прочая динамика в ходе реализации угрозы.
• Стратегический – отчеты по трендам и направлениям развития «хакерской мысли», ретроспективные срезы за некий период.

Если о проблемах работы с Техническим TI сказано уже очень много, то вот об особенностях в работе с другими уровнями сказано незаслуженно мало. В этом нет ничего странного, ведь в огромной части компаний обработка информации этих уровней идет исключительно вручную. Давайте посмотрим, почему в век появления беспилотных автомобилей и ChatGPT TI-аналитики вынуждены применять естественный, а не искусственный интеллект в этой части своей работы.

Краеугольные подводные камни TI-отчетов

Проблема 1: Объемы информации.

Выше мы уже говорили о том, что количество кибератак значительно, а значит, и аналитических материалов, в которых разбирается эта активность, также будет огромное количество.

По нашей статистике, одних TI-отчетов тактического и операционного уровней насчитывается более 3500 в год, без учета выходных и праздников. Это практически 12 отчетов в день, которые предстоит проанализировать. Каждый такой отчет – это от 5 до 15 страниц формата А4, что в общей сложности составляет от 60 до 180 страниц технического текста в сутки.

Адекватно проанализировать такой объемов информации – неподъемная задача для ИБ-специалистов, занимающихся помимо нее еще и операционными задачами по администрированию и поддержанию текущего уровня защищенности компании. Здесь необходима отдельная должность TI-аналитика, и, судя по всему, таких специалистов необходимо больше одного.

По нашей статистике, одних TI-отчетов тактического и операционного уровней насчитывается более 3500 в год, без учета выходных и праздников. Это практически 12 отчетов в день, которые предстоит проанализировать. Каждый такой отчет – это от 5 до 15 страниц формата А4, что в общей сложности составляет от 60 до 180 страниц технического текста в сутки.

Адекватно проанализировать такой объемов информации – неподъемная задача для ИБ-специалистов, занимающихся помимо нее еще и операционными задачами по администрированию и поддержанию текущего уровня защищенности компании. Здесь необходима отдельная должность TI-аналитика, и, судя по всему, таких специалистов необходимо больше одного.

Проблема 2: «Приземление отчетов»

Каждый TI-отчет необходимо проанализировать и провести по следующему процессу:

1. Ознакомиться с отчетом.
2. Понять, насколько он релевантен реалиям именно вашей компании.
3. Выделить из отчета техники, тактики и процедуры (иногда это не так уж и просто).
4. Перевести описание техник и тактик в логику детектов ваших сетевых и хостовых СЗИ.
5. Реализовать детекты.
6. Имплементировать в СЗИ.
7. Доработать детекты по результатам их работы в инфраструктуре компании.

Попробуйте подсчитать, сколько человек вам потребуется для реализации данного процесса.

Проблема 3: Компетенции

У TI-отчетов тактического и операционного уровней есть еще одна неявная особенность: они содержат очень узкоспециализированную информацию, требующую от аналитика широких и глубоких знаний. Так, например, отчеты могут описывать принципы работы криптографических механизмов шифровальщиков. Другой отчет уже посвящен реализованному в ВПО командному протоколу. Иной отчет описывает принципы, которыми пользуется ВПО для обхода детектирования средствами песочниц, или антивирусные средства защиты.

Таким образом, для того чтобы понять, о чем же идет речь в отчете и насколько он релевантен компании, TI-аналитик должен обладать большим кругом компетенций, начиная с криптографии и заканчивая архитектурой ОС. А если группировка пользуется методами социальной инженерии и отчет разбирает и этот аспект, то понадобится немного разбираться и в психологии.

Проблема 4: TI-отчеты тактического уровня – это еще не все

Мы затронули тему отчетов тактического уровня, но также стоит коснуться и остальных уровней TI.

В результате анализа большого массива отчетов RST Cloud выделили следующие типы информационных сообщений и их отношение к Threat Intelligence:

Возможности автоматизации (разбор отчетов с помощью AI)

Весь процесс работы с TI можно разделить на стадии:

К сожалению, полностью автоматизировать процесс разбора и анализа отчетов с помощью искусственного интеллекта на текущем этапе развития AI не представляется возможным, но вот упростить жизнь TI-аналитикам - вполне.

В сервисе CTT Reports Hub от RST Cloud мы стараемся взять на себя автоматизацию следующих этапов:

Сбор TI. В данный этап входят такие операции, как:

1. Отслеживание ресурсов поставщиков TI-отчетов на предмет появления новых сообщений.
2. Фильтрация сообщений и выделение из этого потока именно TI-отчетов средствами ML-алгоритма CatBoost.
3. Первичный автоматический разбор отчета в виде очистки от рекламы и т.д.

На этапе выделения релевантных отчетов CTT Reports Hub берет на себя следующие операции:

1. Выделение из текста отчета названий группировок, ВПО, хакерских утилит, TTP.
2. Выделение упоминаемого легального ПО, сервисов, WinAPI.
3. Поиск SIGMA, YARA правил, если они есть в тексте.
4. Выделение сетевых и хостовых IоC в теле отчета.
5. Выделение геоданных.

Иногда быстрого взгляда на описанные выше объекты недостаточно, чтобы понять, насколько отчет релевантен, и нужно в общих чертах уяснить, что же в нем написано. Здесь бы очень помог краткий реферат по статье.

В CTT Reports Hub для генерации такого отчета используется сервис ChatGPT. С использованием модели Davinci данного AI создается реферат объемом до 900 слов, описывающий ключевые моменты, выделенные из TI-отчета.

Также TI-отчеты часто содержат ценные схемы атаки либо работы ВПО в виде изображений. Один взгляд аналитика на подобную схему может дать ему понимание всей kill-chain, даже без погружения в многостраничное тело самого отчета. В CTT Reports Hub мы предобучили нейронную сеть классификации на изображениях из более чем 3500 TI-отчетов, задействуя ML-библиотеку FastAI.

Работа с собранными TI-данными

На всех этапах работы с TI-отчетами появляется множество ценной информации, такой как IOC, IOA (поведенческие индикаторы), TTP, различные связи, последовательности применения TTP и т.д. Все эти данные крайне важны как на этапе их получения (для немедленного реагирования), так и вдолгую в процессе расследования инцидентов (поскольку обогащают их актуальным контентом). Было бы крайне полезным создать из этих данных базу знаний, к которой можно обращаться в любой момент.

Хранить все полученные данные в виде отдельных файлов, заметок и картинок с графами связей – не лучшее решение. Для хранения и работы с Threat Intelligence лучше всего использовать специализированные платформы – Threat Intelligence Platforms.

Платформа Security Vision TIP раскладывает отчеты по угрозам в модель, которая отображает весь контекст угрозы в виде связанных структур данных.

Скриншот графа

Рассмотрим пример на основе отчета по угрозе эксплуатации уязвимости Follina (https://thedfirreport.com/2022/10/31/follina-exploit-leads-to-domain-compromise/). TIP представит его в виде связанных данных:

• IP-адреса: x.x.x.x (множество IOC, от которых замечены попытки эксплуатации уязвимости),
• Хэши файлов: liidfxngjotktx.dll и др. (множество вредоносных библиотек и файлов, связанных с угрозой),
• Уязвимость: CVE-2022-30190 (с детальным описанием уязвимости из нескольких агрегаторов и баз знаний),
• CMD: процесс msdt.exe от конкретного родителя с пейлоадом, содержащим PowerShell код в base64 (в обычной жизни – вполне легитимный процесс средства диагностики Windows, но в текущих условиях – поведенческий признак успешной эксплуатации уязвимости),
• ТTP из матрицы MITRE ATT@CK: System Owner/User Discovery (T1033) и др.,
• Хакерское ПО: Cobalt Strike (с подробным описанием, как обнаружить его у себя на инфраструктуре, как минимум в его исходном виде через анализ конфигураций и named pipes),
• Бюллетень или сам отчет, являющийся первоисточником информации.

Платформа решает задачи структуризации данных и дополнительного обогащения ветвистой структуры из аналитических сервисов. Таким образом рождается база знаний, помогающая аналитикам решать проблему ситуационной осведомленности: случился инцидент - мы можем по его данным (например, по внешним IP-адресам, на которые замечено обращение из скомпрометированной инфраструктуры) догрузить и понять целый пласт важной (и самое главное актуальной) информации.

Мы можем выяснить, что, например, есть признаки присутствия ботнета Qbot C2, и дальше проверить эту гипотезу, сняв дамп памяти, проанализировав префетч, реестр, журнал NTFS. Такой Threat Hunting, где гипотезы помогает выдвигать TI, весьма эффективен, потому что гипотезы подгружаются из самых актуальных источников (буквально из вчера опубликованных Elastic или Dfir отчетов или даже постов о техниках атак из Darknet).

Помимо ситуационной осведомленности, мы говорили выше о проблематике реализации детектов, имплементирования их в СЗИ и последующей перенастройки систем. Это также ключевая задача Security Vision TIP.

Платформы должны не просто агрегировать и предоставлять большие данные TI - они должны уметь автоматизировать поиск индикаторов в оптимизированном виде на потоке «сырых» событий (загружать этой задачей SIEM неразумно: в рамках одной отрасли для одной компании релевантны сотни тысяч индикаторов, и SIEM просто-напросто захлебнется, будучи и так очень нагружен).

Платформа Security Vision TIP выполняет авто-детект как в режиме реального времени, так и в ретро режиме: разобранный отчет по угрозе пришел сегодня, но мы будем проверять, не было ли у нас этой угрозы вчера или даже неделю назад (в зависимости от того, сколько мы решим хранить у себя ретро-данные).

Найденные индикаторы становятся подозрениями на инцидент. Мы анализируем: если было обращение из вредоносного домена на сервер в DMZ, это в принципе нестрашно (частый и распространенный скан роботами внешнего периметра), и наше реагирование будет заключаться в передаче из TIP черных списков на межсетевой экран; но если мы видим в обнаружении обращение из нашей инфраструктуры на С2 домен, критичность инцидента резко повышается, и мы уже должны расследовать потенциальное «отстукивание» скомпрометированной машины в командный центр.

Threat Intelligence как технология уже перешла из разряда хайповых в разряд прикладных потребностей. Сейчас компании задумываются о том, как наиболее эффективно ее применить, не захлебнувшись при этом в огромных потоках информации. И вот вам ответ (актуальный сейчас для многих направлений) – автоматизация и AI. Пользуйтесь)

Заключение

В открытом доступе хранится и ежедневно публикуется колоссальное количество информации об угрозах, такой как особенности работы ВПО, используемые группировками методы атак и проводимые ими хакерские кампании.

Анализировать вручную такие объемы данных крайне затруднительно, а полностью автоматизировать данный процесс очень сложно. Однако можно снизить трудозатраты TI-аналитиков, автоматизировав если не весь процесс анализа, то некоторые его части, такие как сбор, очистка, предварительная обработка TI и выделение наиболее релевантной информации.

Хранить и работать с такими объемами TI-аналитики в виде россыпи файлов и особенно обращаться к ней в процессе расследования – очень тяжелая и трудозатратная задача.

Для работы с TI существует отдельный вид ПО – Threat Intelligence Platform (TIP). TIP позволяют структурировать TI-данные и дополнительно обогащать их новыми сведениями, полученными из внешних аналитических сервисов.

Современные TIP – уже далеко не просто база знаний, но еще и механизм автоматического детектирования атак на основе IоA и IоC, реализуемого на потоке сырых данных, получаемых от СЗИ и инфраструктуры клиента.

В целом сбор знаний, их обработка, хранение и использование в детектировании атак – ключевые элементы процесса работы с Threat Intelligence. Совместное использование продуктов Security Vision и RST Cloud полностью реализует весь процесс работы с TI и значительно повышает качество работы TI-аналитиков, тем самым поднимая планку уровня защищенности компании на новые высоты.

Авторы: Николай Арефьев, сооснователь RST Cloud и Анна Олейникова, директор по продуктам Security Vision