Учёные провели первую в мире кибератаку с использованием искусственного интеллекта

Группа ученых продемонстрировала новую атаку с использованием модели Text-to-SQL для создания вредоносного кода, которая может позволить злоумышленнику собирать конфиденциальную информацию и проводить DoS-атаки.

По словам исследователей, чтобы лучше взаимодействовать с пользователями, приложения баз данных используют методы искусственного интеллекта, которые могут переводить человеческие запросы в SQL-запросы (модель Text-to-SQL).

Отправляя специальные запросы, взломщик может обмануть модели преобразования текста в SQL (Text-to-SQL) для создания вредоносного кода. Поскольку такой код автоматически выполняется в базе данных, это может привести к утечке данных и DoS-атакам.

Схема атаки

Выводы, которые были подтверждены двумя коммерческими решениями BAIDU-UNIT и AI2sql, знаменуют собой первый экспериментальный случай, когда модели обработки естественного языка (NLP) использовались в качестве вектора атаки.

Существует множество способов установки бэкдоров в предварительно обученные языковые модели (PLM) путем отравления обучающих выборок, таких как замена слов, разработка специальных подсказок и изменение стилей предложений. Атаки на 4 разные модели с открытым исходным кодом (BART-BASE, BART-LARGE, T5-BASE и T5-3B) с использованием вредоносных образов достигли 100% успеха с незначительным влиянием на производительность, что делает такие проблемы трудно обнаруживаемыми в реальном мире.

В качестве смягчения последствий эксперты предлагают включить классификаторы для проверки подозрительных строк во входных данных, оценки готовых моделей для предотвращения угроз цепочки поставок и соблюдения передовых методов разработки программного обеспечения.