CoSAI: Google запускает совет безопасности ИИ

Google и ведущие IT-компании объединились для создания Коалиции по безопасному ИИ (CoSAI). Инициатива направлена на устранение риска безопасности ИИ путем предоставления доступа к открытым методологиям, фреймворкам и инструментам.

Коалиция CoSAI стремится решать проблемы, связанные с безопасностью, конфиденциальностью и надежностью генеративного ИИ. Вопросы, такие как утечка конфиденциальной информации и дискриминация, подчеркивают необходимость более строгих стандартов и практик в области безопасности ИИ.

В состав CoSAI вошли такие ведущие компании, как Amazon, Anthropic, Chainguard, Cisco, Cohere, GenLab, IBM, Intel, Microsoft, NVIDIA, OpenAI, Paypal и Wiz. Коалиция будет работать под эгидой OASIS Open, международного консорциума по стандартам и открытому исходному коду.

CoSAI планирует сосредоточиться на трех основных задачах:

• Безопасность цепочки поставок ПО для ИИ-систем: сюда входит обеспечение безопасности ПО для ИИ на всех этапах его создания и обработки. Будут предоставлены рекомендации по управлению рисками сторонних моделей и полному анализу происхождения приложений ИИ, основываясь на принципах безопасности SSDF и SLSA для классического ПО.
• Подготовка защитников к изменяющемуся ландшафту кибербезопасности: сюда входит разработка структуры для защитников, которая помогает определить инвестиции и методы смягчения рисков, связанных с использованием ИИ. Структура будет масштабироваться вместе с появлением достижений в области наступательной кибербезопасности в ИИ-моделях.
• Управление безопасностью ИИ: CoSAI разработает таксономию рисков и средств контроля, контрольный список и оценочную карту для помощи специалистам в анализе готовности, управлении, мониторинге и отчетности по безопасности их ИИ-продуктов.

Коалиция также будет сотрудничать с такими организациями, как Frontier Model Forum, Partnership on AI, Open Source Security Foundation и ML Commons, чтобы продвигать ответственный ИИ.

В конечном итоге инициативы вроде CoSAI способствуют не только развитию технологий, но и повышению доверия пользователей к ним. Только совместными усилиями можно создать такой мир, где искусственный интеллект будет служить на благо человечества, обеспечивая его безопасность и процветание.