Карточный домик из алгоритмов: хакеры развенчали миф о неуязвимости ИИ

Ведущее хакерское сообщество обнародовало тревожные выводы о состоянии безопасности современных систем искусственного интеллекта. Организаторы конференции DEF CON , выпустившие на прошлой неделе первый "Хакерский альманах" , детально описали критические бреши в защите умных машин. Публикация документа совпала с началом международного саммита в Париже, где мировые лидеры, руководители технологических компаний и политики собрались для обсуждения вопросов регулирования и безопасности передовых технологий.

По словам участников, злоумышленникам сейчас крайне легко получить доступ к нейросетям и управлять ими по своему усмотрению. Алгоритмы машинного обучения все активнее внедряются в критически важные сферы общества, из-за чего конфиденциальные данные чаще утекают, информацией все проще манипулировать, и даже национальная безопасность оказывается под угрозой.

В то же время бреши сейчас крайне сложно находить. Инструменты и методы проверки не поспевают за тем, как стремительно развиваются технологии, поэтому потенциальные угрозы остаются незамеченными.

Правительства разных стран, обеспокоенные ситуацией, призывают компании активнее использовать "red teaming". При таком подходе к проверке систем привлекаются команды белых хакеров , которые пытаются преодолеть защиту всеми доступными способами — от социальной инженерии до сложных технических атак. Так можно заранее найти и закрыть слабые места в обороне. Однако Свен Каттелл, руководитель секции AI Village на конференции DEF CON, видит в этой стратегии серьезный изъян: она не справляется с "неизвестными неизвестными" — особыми уязвимостями, которые возникают из-за самой природы самообучающихся систем и которые невозможно предвидеть традиционными способами.

Если в традиционной кибербезопасности специалисты могут систематически находить и устранять известные типы багов, то с нейросетями такой подход не работает — они способны выдавать совершенно непредсказуемые сбои. В связи с этим Каттелл предлагает адаптировать систему Common Vulnerabilities and Exposures (CVE). Она представляет собой международную базу данных, где каждой обнаруженной уязвимости присваивается уникальный идентификатор и рейтинг опасности. Специалисты могут отслеживать, какие уязвимости уже обнаружены, насколько они серьезны и как их можно устранить. "Мы не гонимся за абсолютной защитой — это невозможно. Наша задача сделать взлом настолько сложным и дорогостоящим, чтобы он потерял смысл для большинства злоумышленников", — поясняет специалист.

Существующие решения не учитывают главную особенность нейросетей — их способность самостоятельно менять свое поведение в зависимости от входных данных. Новые инструменты должны уметь имитировать различные сценарии атак с учетом этой детали. Например, проверять, как система поведет себя, если злоумышленник попытается "отравить" обучающую базу.

Особенно тревожит то, как изменились приоритеты в технологическом секторе и политике США. Например, Google недавно пересмотрел свои принципы работы с ИИ, убрав важные ограничения. Раньше компания отказывалась разрабатывать системы, которые могли бы использоваться для слежки за людьми, создания дезинформации или автономного оружия. Теперь же у преступников попросту развязаны руки. Ситуацию усугубил Дональд Трамп, который после возвращения в офис отменил указ Байдена о безопасности ИИ. Этот документ требовал от компаний тщательно тестировать системы на предмет дискриминации и предвзятости, раскрывать информацию об обучающих данных и регулярно проводить аудит безопасности.

Эксперты убеждены: безопасность нужно тщательно проверять на каждом этапе разработки того или иного продукта. Если находить потенциальные уязвимости еще до того, как системы запустят в работу, можно в десятки раз снизить риск кибератак и утечек. Причем успех возможен, только если ИБ-специалисты будут тесно сотрудничать с создателями ИИ-моделей. Только когда они объединят свой опыт и знания, получится создать по-настоящему защищенные системы, которые выстоят против современных угроз.