Про искусственный интеллект в ИБ я уже писал год назад, а сейчас мне бы хотелось обратиться к другой стороне медали - использованию искусственного интеллекта в деятельности киберпреступников. Эта тема мало поднимается в открытой прессе и мало кто из специалистов пока задумывается о ней, предпочитая изучать, как ИИ может помочь делу ИБ. На прошедшем в мае семинаре Gartner я спросил у Антона Чувакина, сталкивались ли они с запросами своих клиентов, которые бы интересовались нелегальным применением искусственного интеллекта. Антон тогда ответил, что даже просто использованием ИИ в ИБ у них поинтересовался за все время всего один клиент, а уж про темную сторону ИИ не спрашивал никто и никогда. Это показательный пример, когда специалисты по ИБ думают о "сиюминутных" задачах, не желая посмотреть "за горизонт".
А смотреть есть куда. В кибербезопасности часто используются технологии так называемого двойного назначения. Криптография используется и защитниками и хакерами. Поиск уязвимостей применяется при взломе и при пентесте. Фишинг используется злоумышленниками для компрометации пользователей, а безопасниками для их же обучения и проверки способности противостоять атакам. Вообще киберпреступники перенимают все лучшее из нашего мира и ИИ не исключение. Например, можно установить на компьютере жертвы относительно простого агента, изучающего переписку пользователя в электронной почте, соцсетях или мессенджерах. После небольшого периода обучения вредоносное ПО сможет маскироваться под жертву и от ее имени рассылать сообщения по всем ее контактам, которые и не заподозрят ничего. По работе сообщения будут официальными, друзьям или членам семьи - менее формальными (кстати, голосовые сообщения тоже можно будет подделывать без проблем). Все это легко автоматизируется, тем более, что в Интернете представлено немало готовых библиотек для реализации как базовых, так и более сложных алгоритмов ИИ. Вот только один пример с подборкой совершенно различных программных реализаций.
А боты в соцсетях, напрашивающиеся в друзья? Это же классика искусственного интеллекта (я уже раньше писал, что под этим термином я понимаю сразу весь спектр технологий - от машинного обучения до нейросетей). Многие компании используют ботов для общения со своими клиентами в Интернет - почему злоумышленникам не делать тоже самое? И они это делают. Вообще соцсети сегодня представляют колоссальный объем информации о людях - профили, открытые заметки (и закрытые, если бот смог заставить пользователя вступить с ним в дружеские отношения), фотографии, предпочтения, геометки, родители (включая девичьи фамилии матерей), питомцы... Все это очень хорошо собирается, анализируется и сопоставляется различными алгоритмами ИИ.
Вот представьте сценарий. Депутат Госдумы является скрытым педофилом, который зарегистрировался на нелегальном форуме с детской порнографией под вымышленным псевдонимом и с зарубежного почтового сервиса. При этом, по глупости, этот же псевдоним он использовал как часть своего e-mail для личного почтового ящика на mail.ru. А на эту почту он же пересылал несколько сообщений со своей служебной почты в домене gov.ru. Вполне реалистичный сценарий, в котором только технологии ИИ могут сопостовить множество источников данных и сделать гипотезы о совпадении этих трех виртуальных личностей. ну а дальше можно только предугадывать, что могут преступники (а может спецслужбы?) сделать с такой информацией.
А теперь вспомним про конкурс Cyber Grand Challenge , проведенный Агентством по передовым оборонным исследованиям МинОбороны США DARPA. В его рамках семь команд использовали автономных агентов для обнаружения, анализа и исправления уязвимостей до того, как их найдут противники. При этом поощрялось обнаружение уязвимостей в коде своих оппонентов по конкурсу. Целью конкурса была демонстрация технологий искусственного интеллекта для целей кибербезопасности, но... DARPA занимается не только оборонными исследованиями. У них есть и атакующий потенциал. Что, если технологии автоматизации поиска и использования дыр в ПО будет применяться киберпреступниками (или спецслужбами)? Незря Элон Маск сравнил проект DARPA с Skynet из "Терминатора".
Все, наверное, слышали про сервис VirusTotal, скрывающий "под крышкой" 60+ антивирусов, которые проверяют переданные сервису файлы на вредоносность. Безопасники могут использовать его для оценки способности интересующего антивируса ловить разные вредоносные программы. Аналогичные сервисы есть и по ту сторону баррикад, только там они используются для создания вредоносного кода, который не детектируется на момент своего распространения. А теперь представьте, что такие сервисы расширяются за счет технологий искусственного интеллекта, которые модифицируют вредоносный код и отправляют на сервис тестирования. И так в автоматическом режиме до тех пор, пока не будет найден вариант, пропускаемый средствами защиты.
Описанные выше примеры являются фантастикой? Нет. Все они вполне реальны. Какие-то уже применяются криминалом. Какие-то будут применяться в ближайшем будущем, к которому надо готовиться уже сейчас; чтобы потом не было поздно.
ЗЫ. Бывший глава национальной разведки США в конце прошлого года предупредил Конгресс об опасности искусственного интеллекта, который может быть использован киберпреступниками.
А смотреть есть куда. В кибербезопасности часто используются технологии так называемого двойного назначения. Криптография используется и защитниками и хакерами. Поиск уязвимостей применяется при взломе и при пентесте. Фишинг используется злоумышленниками для компрометации пользователей, а безопасниками для их же обучения и проверки способности противостоять атакам. Вообще киберпреступники перенимают все лучшее из нашего мира и ИИ не исключение. Например, можно установить на компьютере жертвы относительно простого агента, изучающего переписку пользователя в электронной почте, соцсетях или мессенджерах. После небольшого периода обучения вредоносное ПО сможет маскироваться под жертву и от ее имени рассылать сообщения по всем ее контактам, которые и не заподозрят ничего. По работе сообщения будут официальными, друзьям или членам семьи - менее формальными (кстати, голосовые сообщения тоже можно будет подделывать без проблем). Все это легко автоматизируется, тем более, что в Интернете представлено немало готовых библиотек для реализации как базовых, так и более сложных алгоритмов ИИ. Вот только один пример с подборкой совершенно различных программных реализаций.
А боты в соцсетях, напрашивающиеся в друзья? Это же классика искусственного интеллекта (я уже раньше писал, что под этим термином я понимаю сразу весь спектр технологий - от машинного обучения до нейросетей). Многие компании используют ботов для общения со своими клиентами в Интернет - почему злоумышленникам не делать тоже самое? И они это делают. Вообще соцсети сегодня представляют колоссальный объем информации о людях - профили, открытые заметки (и закрытые, если бот смог заставить пользователя вступить с ним в дружеские отношения), фотографии, предпочтения, геометки, родители (включая девичьи фамилии матерей), питомцы... Все это очень хорошо собирается, анализируется и сопоставляется различными алгоритмами ИИ.
Вот представьте сценарий. Депутат Госдумы является скрытым педофилом, который зарегистрировался на нелегальном форуме с детской порнографией под вымышленным псевдонимом и с зарубежного почтового сервиса. При этом, по глупости, этот же псевдоним он использовал как часть своего e-mail для личного почтового ящика на mail.ru. А на эту почту он же пересылал несколько сообщений со своей служебной почты в домене gov.ru. Вполне реалистичный сценарий, в котором только технологии ИИ могут сопостовить множество источников данных и сделать гипотезы о совпадении этих трех виртуальных личностей. ну а дальше можно только предугадывать, что могут преступники (а может спецслужбы?) сделать с такой информацией.
А теперь вспомним про конкурс Cyber Grand Challenge , проведенный Агентством по передовым оборонным исследованиям МинОбороны США DARPA. В его рамках семь команд использовали автономных агентов для обнаружения, анализа и исправления уязвимостей до того, как их найдут противники. При этом поощрялось обнаружение уязвимостей в коде своих оппонентов по конкурсу. Целью конкурса была демонстрация технологий искусственного интеллекта для целей кибербезопасности, но... DARPA занимается не только оборонными исследованиями. У них есть и атакующий потенциал. Что, если технологии автоматизации поиска и использования дыр в ПО будет применяться киберпреступниками (или спецслужбами)? Незря Элон Маск сравнил проект DARPA с Skynet из "Терминатора".
Все, наверное, слышали про сервис VirusTotal, скрывающий "под крышкой" 60+ антивирусов, которые проверяют переданные сервису файлы на вредоносность. Безопасники могут использовать его для оценки способности интересующего антивируса ловить разные вредоносные программы. Аналогичные сервисы есть и по ту сторону баррикад, только там они используются для создания вредоносного кода, который не детектируется на момент своего распространения. А теперь представьте, что такие сервисы расширяются за счет технологий искусственного интеллекта, которые модифицируют вредоносный код и отправляют на сервис тестирования. И так в автоматическом режиме до тех пор, пока не будет найден вариант, пропускаемый средствами защиты.
Описанные выше примеры являются фантастикой? Нет. Все они вполне реальны. Какие-то уже применяются криминалом. Какие-то будут применяться в ближайшем будущем, к которому надо готовиться уже сейчас; чтобы потом не было поздно.
ЗЫ. Бывший глава национальной разведки США в конце прошлого года предупредил Конгресс об опасности искусственного интеллекта, который может быть использован киберпреступниками.
