Стэнфордские учёные представили индекс прозрачности ИИ-моделей: результаты удивляют

Исследователи из университета Стэнфорда недавно представили отчёт-индекс под названием «Foundation Model Transparency Index» или «FMTI», оценивающий прозрачность базовых моделей искусственного интеллекта. Авторы призывают корпорации раскрывать больше информации, такой как данные и человеческий труд, используемый для обучения моделей.

Стэнфордский профессор Перси Лианг, один из исследователей, заявил: «За последние три года становится очевидным, что прозрачность ИИ-моделей уменьшается, в то время как их возможности растут. Это проблематично, так как в других областях, например, в социальных сетях, недостаток прозрачности уже приводил к нежелательным последствиям».

Базовые модели (большие языковые модели, LLM) — это системы ИИ, обученные на огромных наборах данных, способные выполнять различные задачи от написания текстов до программирования. К их числу можно отнести, например, GPT-4 от OpenAI, Llama-2 от Meta * и LaMDA от Google.

Компании, разрабатывающие такие модели, стоят во главе развития генеративного ИИ, который с момента запуска ChatGPT силами OpenAI при активной поддержке Microsoft — привлёк внимание бизнеса разного масштаба.

В индексе было оценено 10 популярных моделей по 100 различным показателям прозрачности. Все модели показали «невысокие» результаты: даже самая прозрачная модель, Llama 2 от Meta, получила лишь 54 балла из 100. В то время, как модель Titan от Amazon заняла последнее место со смешными 12 баллами.

В условиях, когда мир всё больше зависит от этих моделей для принятия решений, понимание их ограничений и предвзятостей становится критически важным, подчёркивают авторы индекса. Исследователи также выразили надежду, что их отчёт простимулирует компании к большей прозрачности базовых моделей и станет отправной точкой для государств, ищущих способы регулирования этой быстро растущей области.

Индекс является проектом Центра исследований фундаментальных моделей Стэнфордского института искусственного интеллекта, ориентированного на человека.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.