Облачный ключ может прокормить целую армию секс-ботов с искусственным интеллектом

В последние месяцы киберпреступники все чаще используют похищенные облачные учетные данные для запуска и продажи услуг с использованием AI-чатов, многие из которых склоняются к темным сценариям ролевых игр, включая незаконные и аморальные темы. В ходе исследования, проведенного специалистами компании Permiso Security, было выявлено, что злоумышленники активно эксплуатируют уязвимые облачные среды для доступа к моделям искусственного интеллекта, таким как Bedrock от Amazon Web Services (AWS), и используют их для запуска подобных сервисов.

Эксперты отмечают рост атак на инфраструктуру генеративного ИИ за последние шесть месяцев, особенно в случае утечки облачных ключей через публичные репозитории, такие как GitHub. Исследователи выяснили, что украденные учетные данные AWS использовались для взаимодействия с языковыми моделями (LLM), доступными на платформе Bedrock. В отсутствие логов, отслеживающих действия с моделями по умолчанию, пострадавшие компании не имели доступа к информации о том, как злоумышленники используют эти ресурсы.

Для более глубокого анализа Permiso намеренно опубликовала тестовый AWS-ключ на GitHub и активировала полное ведение журналов. Результаты эксперимента были шокирующими: за несколько минут после утечки ключ был перехвачен и использован в сервисе, предлагающем пользователям сексуальные чаты, работающие на базе ИИ. С помощью так называемых «джейлбрейков» злоумышленники обходили фильтры контента, позволяя моделям отвечать на запреты, что привело к более чем 75,000 взаимодействий за два дня, почти все из которых были связаны с сексуальными темами.

Анализ данных показал, что в некоторых случаях эти чаты доходили до крайне темных и противозаконных сценариев, таких как фантазии о насилии и сексуальной эксплуатации детей. Примечательно, что подобные атаки на облачные сервисы, как отмечают исследователи, не только позволяют киберпреступникам избежать оплаты за использование мощностей, но и создают огромные счета для жертв. В одном из случаев потенциальные расходы для компании могли достигать 46,000 долларов в день.

AWS сообщила, что внедрила дополнительные меры по защите Bedrock от подобных атак, а также улучшила системы уведомлений для предупреждения владельцев учетных данных об их утечке. Тем не менее, исследователи обнаружили, что злоумышленники начали проверять наличие включенных журналов перед использованием украденных учетных данных, что показывает высокую степень адаптации киберпреступников к защите.

На фоне развернувшегося скандала некоторые сервисы, предлагающие подобные чаты, начали сворачивать свои самые противоречивые разделы, хотя активность и спрос на подобные нелегальные сервисы продолжают расти.