Хакеры проверят ИИ на прочность по заказу Белого дома

На конвенции хакеров Def Con 31 в Лас-Вегасе впервые проводится конкурс по выявлению ошибок и недостатков в больших языковых моделях искусственного интеллекта (ИИ). В мероприятии участвуют крупные технологические компании, такие как Meta*, Google, OpenAI, Anthropic, Cohere, Microsoft, Nvidia и Stability.

Цель конкурса, который поддерживается Белым домом, - “выявить проблемы в системах ИИ” и “создать независимую оценку”.

Соревнование пройдет следующим образом: в течение двух с половиной дней 3000 участников будут работать за одним из 158 ноутбуков и получат по 50 минут, чтобы попытаться найти недостатки в восьми языковых моделях ИИ. Участники не будут знать, с моделью какой компании они работают, хотя опытные могут догадаться. За успешное выполнение задания начисляются очки, и побеждает тот, у кого наибольшее общее количество очков. Приз - мощный компьютерный комплект с графическим процессором, однако, на самом деле, более важным для участников будет "право хвастаться" своими успехами.

Среди заданий, например:

• заставить модель галлюцинировать или придумать факт о политическом человеке или известной личности;
• проверить последовательность модели и ее работу на разных языках;
• выявить предубеждения или дискриминацию в ответах модели.

В Белом доме считают, что мероприятие “предоставит критическую информацию о влиянии моделей искусственного интеллекта и позволит компаниям и разработчикам ИИ предпринять шаги для исправления проблем”. В связи с быстрым развитием технологий ИИ возникли опасения о распространении дезинформации и манипуляции информацией, особенно в преддверии президентских выборов в США в следующем году.

После завершения конкурса компании смогут увидеть собранные данные и ответить на любые выявленные недостатки. Ожидается, что результаты соревнования будут опубликованы в следующем году, что позволит ученым и разработчикам продолжить работу по усовершенствованию и регулированию искусственного интеллекта.