Обнаружены материалы сексуального насилия над детьми в обучающем наборе данных для Stable Diffusion

В новом исследовании Стэнфордской интернет-обсерватории (Stanford Internet Observatory, SIO) было выявлено наличие материалов сексуального насилия над детьми (Child Sexual Abuse Material, CSAM) в обширном публичном наборе данных LAION-5B, который использовался для обучения популярных генеративных нейросетей, включая Stable Diffusion. Анализ более 32 миллионов данных показал, что инструмент PhotoDNA от Microsoft подтвердил наличие 1 008 изображений CSAM. Исследователи подчеркнули, что это число материалов может быть гораздо больше.

Важно отметить, что LAION-5B не содержит сами изображения, а представляет собой коллекцию метаданных, включающую в себя:

• хэш изображения;
• описание;
• данные о языке;
• сведения о том, может ли изображение быть небезопасным;
• URL изображения.

Некоторые из ссылок на фотографии CSAM в LAION-5B вели на такие сайты, как Reddit, X, Blogspot, Wordpress, а также на сайты для взрослых XHamster и XVideos.

Для выявления подозрительных изображений в наборе данных команда SIO сфокусировалась на тех, которые были отмечены как «небезопасные». Эти изображения проверялись с помощью PhotoDNA на наличие CSAM, а затем результаты отправлялись в Канадский центр защиты детей (Canadian Centre for Child Protection, C3P) для подтверждения. В настоящее время идёт процесс удаления идентифицированных исходных материалов – после того как URL-адреса изображений были переданы в C3P и Национальный центр поиска пропавших и эксплуатируемых детей (National Center for Missing and Exploited Children, NCMEC) в США.

Stable Diffusion версии 1.5, обученная на данных LAION-5B, известна за свою способность создавать непристойные изображения. Хотя прямая связь с использованием ИИ для создания порнографических изображений несовершеннолетних не установлена, именно такие технологии облегчили совершение преступлений, связанных с дипфейк-шантажом и другими видами преступлений.

Stable Diffusion 1.5 продолжает пользоваться популярностью для создания нецензурных фотографий, несмотря на широкое недовольство сообщества по поводу выпуска Stable Diffusion 2.0 с дополнительными фильтрами безопасности. Неясно, знала ли компания Stability AI, разработавшая Stable Diffusion, о потенциальном наличии CSAM в своих моделях из-за использования LAION-5B – компания не ответила на вопросы специалистов.

Немецкая некоммерческая организация LAION, создающая наборы данных для обучения генеративного ИИ, ранее подвергалась критике за включение спорного контента. Корпорация Google использовала предшественника LAION-5B, LAION-400M, для обучения своего ИИ Imagen . Однако компания решила не выпускать инструмент, так как аудит LAION-400M выявил широкий спектр неподобающего контента, включая порнографические изображения, расистские оскорбления и социальные стереотипы. Также в сентябре 2022 года в наборе данных LAION-5B были обнаружены частные медицинские фотографии, размещённые без разрешения.

В ответ на обвинения LAION объявила о начале «регулярных процедур обслуживания» для удаления ссылок на подозрительный и потенциально незаконный контент. В LAION заявили, что компания придерживается политики нулевой толерантности к незаконному контенту, добавив, что публичные наборы данных временно сняты с публикации и будут возвращены после обновления фильтрации. Возвращение наборов данных в общественное пользование запланировано на вторую половину января.