509 обсуждений ChatGPT на теневых форумах за месяц. Что это - начало тревожного тренда?

Специалисты Kaspersky Digital Footprint Intelligence выпустили отчет «Инновации в тени: как злоумышленники экспериментируют с ИИ» . В нем проанализированы сообщения в даркнете на тему использования злоумышленниками ChatGPT и других аналогичных решений на основе больших языковых моделей. Всего в 2023 году на теневых форумах и в специализированных Telegram-каналах было обнаружено 2890 таких постов. Пик пришёлся на апрель — в этом месяце эксперты зафиксировали 509 сообщений.

Обсуждения можно разделить на несколько направлений:

1. Джейлбрейки – специальные наборы команд, которые открывают дополнительные возможности чат-ботов, в том числе для неправомерной деятельности. За год выявлено 249 предложений о продаже джейлбрейков. Как отмечают в компании, джейлбрейки могут использоваться в том числе для легитимного улучшения работы сервисов на основе языковых моделей.



2. Использование чат-ботов для вредоносных программ – участники теневых форумов активно обменивались вариантами использования языковых моделей для усовершенствования зловредов и повышения эффективности кибератак в целом. Например, эксперты обнаружили сообщение, где рассказывалось о ПО для операторов вредоносных программ, которое использовало нейросети для обеспечения безопасности оператора и автоматического переключения используемых доменов прикрытия. В рамках другого обсуждения авторы постов предлагали ChatGPT для генерации полиморфного вредоносного кода, обнаруживать и анализировать который крайне сложно.



3. Инструменты с открытым исходным кодом на основе чат-ботов, в том числе для пентеста. Злоумышленники также проявляют к ним интерес. Например, в интернете в свободном доступе есть определённая утилита с открытым исходным кодом на базе генеративной модели, которая предназначена для обфускации кода. Обфускация позволяет избегать обнаружения системами мониторинга и защитными решениями. Такие утилиты могут использовать как пентестеры, так и злоумышленники. В даркнете специалисты «Лаборатории Касперского» обнаружили пост, в котором авторы делятся этой утилитой и рассказывают, как её можно использовать для вредоносных целей.



4. Альтернативные версии ChatGPT. На фоне популярности умных чат-ботов большой интерес вызвали и другие проекты: WormGPT, XXXGPT, FraudGPT. Это языковые модели, позиционирующиеся как альтернатива ChatGPT с дополнительным функционалом и снятыми ограничениями. Несмотря на то, что большая часть решений может быть использована правомерно, злоумышленники также могут обращаться к ним, например для написания вредоносного ПО. Однако повышенное внимание к подобным предложениям не всегда играет на руку их создателям. Так, WormGPT был закрыт в августе 2023 года из-за массовых опасений, что он может представлять угрозу. К тому же многие обнаруженные специалистами компании сайты и объявления, где предлагалось купить доступ к WormGPT, по сути, представляли собой скам. Интересно, что большое количество подобных предложений вынудили авторов проекта ещё до закрытия начать предупреждать о возможности обмана.

Еще одну опасность как для пользователей, так и для компаний несет продажа краденых аккаунтов от платной версии ChatGPT. На приведенном примере участник форума бесплатно распространяет аккаунты, предположительно полученные из лог-файлов вредоносных программ. Данные аккаунтов собираются с зараженных устройств пользователей.

Помимо взломанных аккаунтов распространена продажа автоматически созданных учетных записей с бесплатной версией модели. Злоумышленники регистрируются на платформе с помощью автоматических средств, используя поддельные или временные данные. Подобные аккаунты имеют лимит на количество запросов к API и продаются пакетами. Это позволяет экономить время и сразу перейти на новый аккаунт, как только предыдущий перестанет работать, – например, получив бан из-за вредоносной или подозрительной активности.

В заключение, эксперты Лаборатории Касперского подчеркивают, что, хотя многие из рассмотренных решений на данный момент не представляют серьезной угрозы, технологии развиваются стремительно. Существует реальный риск, что в скором времени языковые модели позволят осуществлять более сложные и опасные атаки.