Сервис конвертации Hugging Face - лазейка для взлома ИИ-моделей

ИБ-компания HiddenLayer выявила уязвимость в сервисе конвертации Safetensors от Hugging Face, которая позволяет злоумышленнику перехватывать ИИ-модели, загруженные пользователями, и скомпрометировать цепочку поставок.

Согласно отчету HiddenLayer, атакующий может отправлять вредоносные запросы на слияние из сервиса Hugging Face в любой репозиторий на платформе, а также перехватывать любые модели, передаваемые через сервис конвертации. Такая техника открывает путь к модификации любого репозитория на платформе, маскируясь под бота конвертации.

Hugging Face – популярная платформа для сотрудничества, помогающая пользователям хранить, разворачивать и обучать предварительно обученные модели машинного обучения и наборы данных. Safetensors – это формат, разработанный компанией для безопасного хранения тензоров.

Анализ HiddenLayer показал, что киберпреступник может использовать вредоносный двоичный файл PyTorch для перехвата сервиса конвертации и компрометации системы, на которой он размещен. Более того, токен официального бота SFConvertbot, предназначенного для создания запросов на слияние, может быть похищен для отправки вредоносных запросов в любой репозиторий на сайте, что позволяет злоумышленнику вмешиваться в модели и встраивать в них бэкдоры.

Исследователи отмечают, что атакующий может выполнять любой произвольный код при попытке пользователя конвертировать свою модель, оставаясь незаметным для самого пользователя. Если жертва пытается конвертировать собственный частный репозиторий, это может привести к краже токена Hugging Face, доступу к внутренним моделям и наборам данных и их возможному «отравлению».

Проблему усугубляет тот факт, что любой пользователь может отправить запрос на конвертацию для публичного репозитория, что открывает возможность для перехвата или изменения широко используемых моделей, создавая значительный риск для цепочек поставок.