Взлом Copilot: как невидимые символы превращают ИИ-помощника в шпиона

Компания Microsoft исправила серьезные уязвимости в своем ИИ-помощнике Copilot, которые позволяли злоумышленникам похищать электронные письма и другую личную информацию пользователей. Об этом сообщил исследователь безопасности Иоганн Ребергер , который ранее обнаружил и раскрыл детали атаки.

Эксплойт, разработанный Ребергером, представляет собой цепочку вредоносных действий, специфичных для языковых моделей (LLM). Все начинается с фишингового письма, содержащего вредоносный документ Word. Этот документ запускает так называемую атаку внедрения промпта — особый вид атаки на ИИ-системы, при котором злоумышленник пытается обмануть модель с помощью специально сформированных входных данных.

В данном случае документ содержал инструкции, заставляющие Copilot притвориться мошеннической программой под названием «Microsoft Defender for Copirate». Это позволяло атакующему взять под контроль чат-бота и использовать его для взаимодействия с электронной почтой пользователя.

Следующим этапом атаки стало автоматическое использование инструментов Copilot. Злоумышленник отдавал чат-боту команды на поиск дополнительных писем и другой конфиденциальной информации. Например, Ребергер просил бота составить список ключевых моментов из предыдущего письма. Нейросеть же находила и извлекала коды двухфакторной аутентификации Slack, если они присутствовали в письме.

Для извлечения данных исследователь применил технику ASCII-контрабанды. Этот метод использует набор Unicode-символов, которые имитируют ASCII, но невидимы в пользовательском интерфейсе. Таким образом злоумышленник может скрыть инструкции для модели в гиперссылке, выглядящей абсолютно невинно.

В ходе атаки Copilot генерирует «безобидную на вид» URL-ссылку, которая на самом деле содержит скрытые Unicode-символы. Если пользователь кликает по этой ссылке, содержимое его писем отправляется на сервер, контролируемый злоумышленником. Украсть можно коды двухфакторной аутентификации Slack или любые другие конфиденциальные данные из писем.

Ребергер также разработал инструмент ASCII Smuggler, который позволяет обнаруживать Unicode-теги и «декодировать» сообщения, которые иначе остались бы невидимыми. Microsoft подтверждает: уязвимости устранены, однако точные детали исправлений компания не раскрыла.

Эта цепочка эксплойтов наглядно демонстрирует текущие проблемы в области защиты языковых моделей. Особенно уязвимыми они оказываются к атакам с внедрением промптов и другим недавно разработанным методам взлома. Ребергер подчеркивает новизну этих техник, отмечая, что им «еще нет и двух лет».

Эксперты призывают компании, разрабатывающие собственные приложения на базе Copilot или других языковых моделей, уделять пристальное внимание этим вопросам, чтобы избежать проблем с безопасностью и конфиденциальностью данных.