100 зловещих ИИ-моделей: исследователи разбираются с беспорядком на Hugging Face

Эксперты компании JFrog обнаружили не менее 100 вредоносных ИИ-моделей на популярной открытой платформе Hugging Face.

Hugging Face позволяет исследователям в области ИИ и машинного обучения публиковать свои разработки и обмениваться ими с сообществом. В сервисе доступны десятки тысяч моделей для обработки естественного языка, компьютерного зрения и других задач.

Оказывается, некоторые из представленных алгоритмов содержат вредоносный код. В частности, были найдены модели с возможностью установки "бэкдоров" - скрытых каналов удаленного доступа, позволяющих злоумышленникам получить контроль над компьютером жертвы.

Одной из наиболее опасных угроз стала недавно загруженная модель PyTorch от пользователя "baller423", которая впоследствии была удалена. Она интегрировала в себя вредоносную нагрузку, способную устанавливать обратное соединение с заданным удалённым хостом (210.117.212.93).

Для маскировки вредоносного кода злоумышленники использовали метод "__reduce__" модуля pickle языка Python. Он позволял выполнить произвольные команды при загрузке файла PyTorch, спрятав их внутри процесса сериализации. Таким образом, системы обнаружения не распознавали эту уловку.

Аналогичные закладки были обнаружены в моделях, связанных с множеством других IP-адресов.

"Хотелось бы подчеркнуть, что под "вредоносными моделями" мы подразумеваем именно те, которые несут в себе реальные опасные нагрузки", - отмечается в отчете JFrog.

"В это число не включены ложные срабатывания системы, так мы имеем полное представление о количестве вредоносных моделей для PyTorch и Tensorflow на платформе Hugging Face".

По мнению JFrog, часть подобных алгоритмов могла быть загружена исследователями в рамках тестирования системы безопасности Hugging Face. Специалисты нередко получают вознаграждение за обнаруженные уязвимости. Однако даже в этом случае публикация опасных моделей является крайне рискованной и неприемлемой, так как они становятся доступны для скачивания всем пользователям.

Для поиска вредоносных программ эксперты JFrog разработали специальную систему сканирования с учетом специфики ИИ. Эта система позволила впервые обнаружить скрытые закладки в коде несмотря на то, что на Hugging Face уже используются меры безопасности.

Стандартные средства защиты не всегда способны распознать подозрительные элементы, замаскированные внутри файлов с ИИ-алгоритмами.

Выводы аналитиков демонстрируют потенциальные риски использования моделей из непроверенных источников. Эксперты призывают разработчиков проявлять повышенную бдительность и внедрять дополнительные меры безопасности для защиты экосистемы ИИ от кибератак.