ИИ-детектив: как DeBackdoor вычисляет бэкдоры в закрытых нейросетях

Исследователи из Катара и ОАЭ представили DeBackdoor — универсальный инструмент для выявления скрытых бэкдоров в нейросетях до их внедрения в критически важные системы. В условиях, когда модели глубокого обучения управляют автомобилями, медицинскими устройствами и промышленной автоматикой, вопрос их надёжности приобретает особую актуальность.

Бэкдоры в ИИ — один из самых незаметных и опасных видов атак. Злоумышленники встраивают в модель специальный триггер, при появлении которого она меняет своё поведение. При этом во всех остальных случаях скрытый бэкдор никак себя не показывает. Такая маскировка делает обнаружение атаки особенно трудной задачей, особенно если модель получена извне и её внутреннее устройство остаётся неизвестным.

DeBackdoor способен работать в условиях, максимально приближённых к реальности: модель может быть единственной в распоряжении, данные — ограниченными, а доступ — исключительно чёрного ящика, то есть только через ввод и вывод. В таких ситуациях большинство существующих методов защиты оказываются неэффективными из-за нереалистичных допущений.

Авторы DeBackdoor предложили совершенно иной подход. Вместо анализа внутренних параметров они ищут возможные триггеры, исследуя пространство потенциальных атак через оптимизацию специальной метрики — сглаженной вероятности успешного срабатывания бэкдора.

Ключевая инновация DeBackdoor заключается в использовании алгоритма имитации отжига (Simulated Annealing). Этот метод хорошо работает в задачах с негладкими и непредсказуемыми пространствами решений. Система генерирует случайные варианты триггеров, оценивает их эффективность и постепенно улучшает результат, сохраняя баланс между изучением новых решений и усилением уже найденных.

В ходе тестирования DeBackdoor продемонстрировал высокую эффективность на множестве сложных атак, использующих искажения, фильтры или обучающиеся элементы. При этом система стабильно превосходила все базовые методы выявления бэкдоров.

Эта разработка открывает путь к безопасному использованию моделей искусственного интеллекта в чувствительных к ошибкам сферах. Вместо слепого доверия к сторонним решениям, разработчики получают инструмент, позволяющий проверить модель до запуска и убедиться в её надёжности.

DeBackdoor — важный шаг к созданию устойчивой ИИ-инфраструктуры, где даже в условиях ограниченного доступа можно обеспечить защиту от скрытых угроз и саботажа.