Как сделать ИИ умным, а не наивным: учёные натренировали его распознавать "троянских баранов" в данных
Один фальшивый байт — и весь городской транспорт парализован.
Современные системы искусственного интеллекта зависят от огромного объёма данных, на которых они обучаются. Эта зависимость делает модели уязвимыми для так называемых атак с отравлением данных, при которых в обучающие выборки целенаправленно внедряются ложные или искажённые сведения. Это может привести к тому, что поведение модели станет нестабильным или ошибочным.
Группа ученых разработала метод, позволяющий выявлять и исключать такие вредоносные данные до того, как они попадут в финальную модель. Подход основан на сочетании двух технологий: федеративного обучения и блокчейна. Результаты работы опубликованы в журнале IEEE Access.
Федеративное обучение представляет собой процесс, при котором обучающая модель размещается непосредственно на устройствах пользователей. Вместо передачи всех данных на центральный сервер, отправляются только обновления модели. Это снижает риски утечки персональной информации, однако сама технология остаётся подверженной атакам с отравлением, так как обновления не проверяются на достоверность до их включения в общую модель.
Для решения этой проблемы учёные использовали блокчейн. Это распределённая база данных, в которой каждый блок информации связан с предыдущим и имеет уникальный цифровой отпечаток. Такая структура позволяет отслеживать любые изменения и делает систему устойчивой к вмешательству.
Метод, предложенный в исследовании, включает анализ обновлений модели с целью выявления аномалий. Подозрительные обновления, потенциально содержащие ложные данные, фиксируются в цепочке блокчейна, но не допускаются к объединению с остальной частью модели. Это снижает вероятность искажения итогового поведения системы.
Разработка ориентирована на применение в критически важных инфраструктурах, включая транспортные системы, здравоохранение и энергетические объекты. Исследование проводится в рамках сотрудничества с Национальным центром по киберустойчивости транспортной инфраструктуры США. В дальнейшем команда планирует интеграцию методов квантового шифрования для повышения уровня защиты данных в подобных проектах.
Один из участников исследования продолжит работу над безопасными алгоритмами обучения, которые можно будет использовать для защиты цифровых систем в ключевых отраслях.