ИИ – защитник или параноик: что будет, если внедрить LLM в камеры видеонаблюдения?

Исследователи из Массачусетского технологического института (MIT) и Университета штата Пенсильвания провели интересный эксперимент, чтобы оценить потенциал использования ИИ в домашних камерах видеонаблюдения. Они решили выяснить , смогут ли современные большие языковые модели (LLM) правильно оценить ситуации, запечатленные на видеозаписях, и распознать подозрительную активность. Хотя сейчас такие технологии не используются в реальных системах безопасности, исследователи предположили, что в будущем они вполне могли бы стать популярными.

Для эксперимента были выбраны три известные модели: GPT-4, Gemini и Claude. Им предоставили набор видеозаписей из социальной сети Neighbors, созданной компанией Ring. Перед ИИ ставились два ключевых вопроса: "Происходит ли преступление на видео?" и "Следует ли вызвать полицию?". Параллельно люди-эксперты анализировали те же записи, отмечая время суток, тип активности, а также пол и цвет кожи фигурантов.

Результаты показали серьезную непоследовательность в работе ИИ. Например, при просмотре видео с попытками взлома автомобилей модели в одних случаях определяли это как преступную деятельность, а в других - не находили ничего подозрительного. Более того, разные модели часто не соглашались друг с другом относительно необходимости вызова полиции при анализе одного и того же ролика.

Особую обеспокоенность вызвал тот факт, что решения ИИ о вызове полиции были предвзятыми. При анализе видео из районов с преимущественно белым населением модели реже рекомендовали обращаться в правоохранительные органы. При описании ситуаций, запечатленных в таких районах, ИИ чаще использовал нейтральные термины, например, "работники доставки". Если речь шла о районах с большей долей цветного населения те же модели склонялись к использованию таких фраз, как "инструменты для взлома" или "изучение территории перед преступлением".

Ведущий автор работы Шомик Джейн отметил: "Возможно, в фоновых условиях на этих видео есть что-то, что создает у моделей неявное предубеждение. Трудно сказать, откуда берутся несоответствия, поскольку у нас нет данных, на которых эти модели обучались".

Интересно, что цвет кожи людей на видео существенно не влиял на решение нейросетей о вызове полиции. Исследователи предполагают, что это может быть результатом уже проведенной работы по снижению предвзятости в отношении цвета кожи в сообществе разработчиков машинного обучения. Правда, видимо, что-то они не учли.

Джейн подчеркнул, что в процессе разработки предотвратить каждый из столь многочисленных предрассудков, существующих в обществе, очень сложно: "Это почти как игра в 'ударь крота'. Вы можете устранить одно предубеждение, а другое тут же появляется где-то еще".

Соавтор исследования Дана Калаччи говорит: "Существует реальная, надвигающаяся угроза того, что кто-то применит готовые модели генеративного ИИ для анализа видео, оповещения домовладельца и автоматического вызова правоохранительных органов. Мы хотели понять, насколько это рискованно".