2023-й год ознаменовался собой активной кампанией исследователей и ученых, которые заявили, что мир еще не готов к искусственному интеллекту и что надо попридержать коней и сначала оценить все последствия от активного развития ИИ, особенно языковых моделей на базе GPT, а уж потом продолжать эксперименты. Как по мне, так уже поздно что-то останавливать и тормозить. История сродни развитию ядерных технологий — сначала они появились у нескольких стран, а потом они решили, что остальным это ничего не нужно. Зачем обезьянам граната, думали они, прикрываясь благой целью — контролем за ядерными вооружениями. Но как мы понимаем, это только в учебниках выглядит все красиво, а в реальности, это оружие и никто просто так не забросит тему, которая может помочь взять вверх в потенциальном конфликте с соперниками. Такая же ситуация, как мне кажется, происходит и с искусственным интеллектом.
Как только отдельные государства увидели его перспективы, так все заголосили, что надо приостановить его развитие, а не то Скайнет захватит мир. Не за горами запреты на экспорт моделей и датасетов за пределы отдельных стран и жесткий контроль за их использованием странами третьего мира. США и ее сателлиты в лице Европы, Японии, Австралии и ряда других стран, не захотят делиться своими наработками с кем бы-то ни было. Допускаю, что будут активно проводиться конференции на тему этического использования ИИ, выдадут гранты на разработку кода этического поведения ИИ и т.д. А под шумок, те же американцы продолжат тренировать свои модели, а то и выдадут гранты на секретные проекты Google, которая проигрывает эту битву Microsoft с OpenAI. А может и Microsoft продавит OpenAI и будет также выполнять что-то по заказу МинОбороны США и иных спецслужб. Китай также плевал на все запреты и будет эту тему исследовать внутри страны, не делясь ни с кем наработками. И так поступят все, кто хоть сколько-нибудь мозгов имеет.
Я уже не говорю про киберпреступность, которая вообще не скована никакими законами морали, мораториями, меморандумами, манифестами и другой фигней на букву «м». Они, увидя (и уже видя) перспективу в искусственном интеллекте для своих целей, освоят его очень быстро, а значит стоит думать о том, в каких направлениях искусственный интеллект может быть использовать киберпреступниками и просто плохими парнями (а это термин широкий, под него и недружественные государства подходят).
Прочтя аннотацию, в которой говорится, что «исследователи проанализировали более 3000 концепций, изобретений, прототипов, коммерческих решений«, у вас может сложиться впечатление, что данный документ описывать все известные на сегодняшний день методы вредоносного использования ИИ, но это не так — документ касается только одного аспекта — контентного. Иными словами, РКН со товарищи проанализировали только то, что попадает в сферу контроля этого регулятора. И хотя в последнее время РКН стал активно залезать на поляну ИБ, все-таки активнее всего он регулирует противоправную и враждебную информацию и способы ее создания и размещения.
Поэтому в отчете рассматриваются следующие 12 групп технологий, соответствующих интересам профильных организаций по мониторингу и обеспечению безопасности интернет-среды:
- Обнаружение дипфейков
- Определение контекста происходящего на видео
- Автоматизация мониторинга и модерации контента
- Распознавание лиц
- Извлечение смысла из текста
- Поддержка проверки фактов
- Распознавание символики
- Извлечение и анализ метаданных
- Распознавание эмоций
- Поддержка решений при информационных атаках
- Генерация контента
- Рекомендация контента.
Как мы понимаем, в этом списке учтены интересы далеко не всех профильных организаций по безопасности интернет-среды. И хотя фишинг еще может как-то попасть в этот список, но поиск уязвимостей с помощью ИИ уже нет.
Зато этому вопросу посвящен другой, самый «старый» из описываемых в заметке, отчет «The Malicious Use of Artificial Intelligence. Forecasting, Prevention, and Mitigation» как раз смотрит н проблему шире и рассматривает и традиционные ИБ-угрозы, и контентную «историю», названную в отчете «политическая безопасность», и физическую безопасность (роботы и т.п.). А тут вам и фишинг, и поиск уязвимостей, и профилирование жертв, и разработка вредоносного ПО, и генерация атак для обхода средств защиты, и таргетирование атак, и дипфейки, и многое другое.
Кстати, о дипфейках, — им посвящена целая серия ежегодных отчетов от компании Deeptrace (например, вот отчет за 2018 год, а вот за 2019), а также множество других исследований. Пока большинство авторов соглашаются, что основное применение дипфейков — это порнографический контент, но при этом они начинают проникать и в другие сферы нашей жизни, например, с их помощью реализуется социальный инжиниринг в разных его проявлениях.
Сама компания Deeptrace Labs куда-то исчезла с радаров и даже сайт ее больше не существует.
Свое видение угроз со стороны искусственного интеллекта представил и Европол вместе с Trend Micro, которые в конце 2020-го года выпустили отчет с описанием сценариев применения ИИ плохими парнями — тут и дипфейки, и угадывание паролей, и подмена пользователей в соцсетях, и взлом систем, и фишинг и другие формы социального инжиниринга. Европейские исследователи даже предсказывают появление дронов с распознаванием лиц, которые могут быть использованы для фокусированных атак на конкретных людей, а также появление ботов, изучающих лучшие трейдинговые стратегии на криптовалютных площадках для использования их в своей противоправной деятельности.
Менее Немецкий BSI выпустил недавно не очень большой, но все-таки интересный отчет с обзором различных проблем и атак на системы, базирующиеся на искусственном интеллекте. Реальных примеров в отчете нет, но как введение в проблему вполне себе подойдет.
Ну и в качестве заключения еще один отчет от Europol, который выпустил отчет об опасности использования генеративных нейросетей, конечно же на примере ChatGPT, в противоправных целях. Европейские полицейские считают, что GAN могут быть использованы в следующих сценариях:
- Систематизация знаний и ускорение подготовки преступников, включая и киберпреступников
- Генерация фишинговых писем от имени коренных жителей той или иной страны
- Маскировка под конкретного человека с копированием его манеры общения
- Дезинформация и пропаганда за счет создания достоверно звучащего контента на базе неверных тезисов и предпосылок
- Создание пока еще базового вредоносного кода
- Сбор большого объема данных, используемых в преступной деятельности
- Автоматизация и масштабирование существовавших ранее и новых схем мошенничества и киберпреступлений
При этом, как отмечают в Европоле, свежая версия ChatGPT на основе GPT-4 не улучшилась в части обхода ее защитных механизмов; то, что можно было плохого сделать в предыдущей версии ChatGPT, можно сделать и в нынешней.
Вот такой вот обзор. Как мы понимаем, любая технология может иметь две стороны использования — хорошую и плохую. Дроны могут исследовать труднодоступные места, а могут сбрасывать бомбы. Ядерные технологии могут давать энергию, а могут убивать миллионы людей. Так и искусственный интеллект может найти свое применение в плохих руках. Главное понимать это и быть готовым к этому.
Дополнительная информация
- Материалы форума «Цифровая экономика. Технологии доверенного искусственного интеллекта»
- Материалы трека по искусственному интеллекту на PHDays 12
- Введение в Google Secure AI Framework
- Проект MITRE ATLAS с базой известных тактик и техник для систем на базе машинного обучения
- Failure Modes in Machine Learning
- Как учесть вопросы искусственного интеллекта при моделировании угроз
- DARPA Cyber Grand Challenge
- The AI Attack Surface Map v1.0
