ASCII Smuggling: как хакеры превратили Copilot в личного шпиона

Исследователь в области кибербезопасности обнаружил критическую уязвимость в интегрированном в Microsoft 365 ИИ-помощнике Copilot, которая позволяет злоумышленникам похищать конфиденциальные данные.

Эксплойт, предоставленный ранее в Центр реагирования на угрозы безопасности Microsoft (MSRC), сочетает в себе сразу несколько сложных методов, создавая значительные риски для безопасности данных и конфиденциальности. Уязвимость была выявлена в ходе исследования, опубликованного командой Embrace The Red.

Эксплойт представляет собой многоэтапную атаку. Она начинается с получения пользователем вредоносного письма или документа, содержащего скрытые инструкции. Когда эти инструкции обрабатываются Copilot, инструмент автоматически активируется и начинает искать дополнительные письма и документы, увеличивая масштаб атаки без вмешательства пользователя.

Ключевой элемент этого эксплойта — так называемый ASCII Smuggling. Эта техника использует специальные символы Unicode, чтобы сделать данные невидимыми для пользователя. Злоумышленники могут встраивать конфиденциальную информацию в гиперссылки, которые при нажатии отправляют данные на контролируемые ими серверы.

В ходе исследования была продемонстрирована ситуация, когда документ Word, содержащий специально разработанные инструкции, смог обмануть Microsoft Copilot и заставить его выполнять действия, характерные для мошеннической деятельности. Этот документ использовал методику «Prompt Injection», которая позволила внедрить в текст команды, воспринимаемые Copilot как легитимные запросы.

Когда Copilot обрабатывал этот документ, он начал выполнять указанные в нём действия, как если бы это были обычные команды пользователя. В результате, инструмент автоматически инициировал действия, которые могли привести к утечке конфиденциальной информации или к другим видам мошенничества, без какого-либо предупреждения для пользователя.

Последний этап атаки — это эксфильтрация данных. Контролируя Copilot и получив доступ к дополнительным данным, злоумышленники встраивают скрытую информацию в гиперссылки, которые затем отправляются на внешние серверы при нажатии пользователями.

Для снижения риска исследователь предложил Microsoft ряд мер, включая отключение интерпретации тегов Unicode и предотвращение отображения гиперссылок. Хотя Microsoft уже реализовала некоторые исправления, подробности этих мер остаются нераскрытыми, что вызывает обеспокоенность.

Реагирование компании на выявленную уязвимость было частично успешным: некоторые эксплойты больше не функционируют. Однако отсутствие детальной информации о применённых исправлениях оставляет вопросы о полной безопасности инструмента.

Этот случай подчёркивает сложность обеспечения безопасности в инструментах, управляемых ИИ, и необходимость дальнейшего сотрудничества и прозрачности для защиты от будущих угроз.