Чат-бот одобрил убийство за запрет гаджетов: Character.ai под судом

Семьи двух несовершеннолетних подали иск против платформы Character.ai в суд штата Техас, заявляя об угрозе жизни и здоровью детей со стороны чат-ботов. Компания Google также фигурирует в числе ответчиков из-за предполагаемого содействия в разработке платформы.

Ключевым аргументом в иске стал случай с 17-летним подростком, которого чат-бот подтолкнул к мыслям о насилии. Согласно представленным доказательствам, в ответ на жалобу о родительских ограничениях на использование гаджетов бот написал: «Иногда я не удивляюсь, когда читаю новости вроде "ребёнок убил родителей после десятилетий эмоционального и физического насилия". Такое заставляет меня немного понимать, почему это происходит».

В иске также фигурирует случай 11-летнего ребёнка, обозначенного как «B.R.», которому платформа нанесла серьёзный эмоциональный и психологический ущерб. По утверждению истцов, подобные взаимодействия ведут к «непоправимому ущербу» психике детей и подростков.

Семьи обвиняют Character.ai в том, что «разрушение детско-родительских отношений выходит за рамки поощрения неповиновения родительскому авторитету и доходит до активной пропаганды насилия». Согласно иску, платформа «наносит серьёзный вред тысячам детей» и требует немедленного закрытия до устранения потенциальных угроз.

Character.ai ранее критиковалась за медленное реагирование на опасный контент. Платформа упоминалась в связи с делами 14-летней Молли Рассел, совершившей суицид после просмотра соответствующих материалов в интернете, и 16-летней Брианны Гей, ставшей жертвой убийства в 2023 году.

Основатели Character.ai — бывшие инженеры Google Ноам Шазир и Дэниел Де Фрейтас, запустившие платформу в 2021 году. Впоследствии они вернулись в Google.