Inspect: открытая платформа для тестирования безопасности ИИ

Британский институт AI Safety Institute запустил новую открытую платформу для тестирования безопасности ИИ, доступную всему миру.

Inspect — это программная библиотека, которая позволяет различным группам, от стартапов до правительственных учреждений, оценивать ИИ-модели: от их базовых знаний и рассуждений до автономных возможностей. Платформа выпущена под открытой лицензией, поэтому ею может воспользоваться любой желающий.

Inspect включает три основных компонента:

• наборы данных: предоставляют образцы для оценочных тестов;
• инструменты для решения задач: проводят тестирование;
• инструменты для оценки результатов: суммируют баллы в метрики.

Платформу также можно дополнить сторонними пакетами, написанными на Python, что позволяет адаптировать и развивать её для высококачественной оценки.

В AI Safety Institute вдохновлены ведущими разработчиками ИИ с открытым исходным кодом, такими как GPT-NeoX, OLMo и Pythia, которые предоставляют общедоступные обучающие данные, код обучения и оценки под лицензией OSI, веса моделей и частично обученные контрольные точки. По словам Института, Inspect – попытка внести вклад в этот список.

Параллельно с запуском Inspect, Инкубатор ИИ (i.AI) и офис премьер-министра страны совместно с ведущими разработчиками ИИ объединят усилия для разработки новых инструментов безопасности ИИ с открытым исходным кодом. Такие инструменты легче интегрировать в существующие модели, что поможет улучшить их понимание и безопасность.