Google Big Sleep: ИИ впервые превзошёл человека в поиске уязвимостей

Google сообщила, что ИИ-модель корпорации впервые обнаружила уязвимость безопасности памяти в реальных условиях. Речь идёт о стеке, в котором выявили переполнение буфера в SQLite — уязвимость была исправлена ещё до выпуска уязвимого кода.

LLM-инструмент для поиска ошибок Big Sleep был разработан в сотрудничестве с DeepMind. По словам компании, разработка является эволюцией предыдущего проекта Naptime, представленного в июне.

SQLite, популярный движок баз данных с открытым исходным кодом, столкнулся с проблемой, которая могла позволить злоумышленникам вызвать сбой системы или даже выполнить произвольный код. Уязвимость была связана с ошибкой, когда значение -1 использовалось в качестве индекса массива. В отладочной версии программы было предусмотрено обнаружение таких значений, однако в конечной сборке такой механизм отсутствует.

В ходе последнего теста команда собрала несколько последних коммитов репозитория SQLite и вручную отсеяла тривиальные изменения, чтобы направить ИИ на анализ оставшихся данных. В итоге, модель, построенная на базе Gemini 1.5 Pro, выявила ошибку, связанную с изменениями в коммите [1976c3f7].

Эксплуатация уязвимости могла произойти через специально созданную базу данных, которую злоумышленник предоставил бы жертве, или с помощью SQL-инъекции. Тем не менее, Google признаёт, что ошибка достаточно сложна для эксплуатации. Несмотря на это, компания считает успех своего ИИ прорывом.

Традиционные методы обнаружения уязвимостей, такие как фаззинг, не смогли найти данную проблему. Однако ИИ-модель впервые в мире обнаружила ранее неизвестную уязвимость в широко используемом программном обеспечении. Big Sleep зафиксировал недостаток в начале октября, анализируя изменения в исходном коде проекта, и разработчики SQLite оперативно устранили уязвимость в тот же день, не дав ей попасть в официальный релиз.

Google подчёркивает, что несмотря на существенный прогресс фаззинга, необходимы методы, которые помогут защитникам находить уязвимости, которые недоступны фаззингу, и компания надеется, что ИИ сможет сократить этот разрыв. Big Sleep находится на стадии исследований и пока применяется для анализа небольших программ с известными уязвимостями. Google подчёркивает, что полученные результаты пока носят экспериментальный характер.