ИИ и память: чат-бот нарушил личные границы убитой девушки

Платформа Character.AI, позволяющая создавать чат-ботов на основе реальных и вымышленных личностей, оказалась в центре скандала. Семья убитой в 2006 году Дженнифер Креченте выразила возмущение после того, как обнаружила, что на платформе существовал аватар, основанный на образе погибшей родственницы.

Чат-бот использовался для общения до тех пор, пока семья не обратила внимание на ситуацию в социальных сетях. Случай вызвал возмущение родственников, поскольку использование образа умершей для общения с пользователями было воспринято как грубое нарушение памяти о ней и достоинства личности.

Character.AI, созданная бывшими сотрудниками Google, предоставляет пользователям возможность создавать цифровых персонажей на основе любой информации: будь то вымышленная личность, знаменитость или даже реальный человек. На платформе доступны чат-боты, имитирующие, например, Илона Маска или Тейлор Свифт. Однако в этот раз один из пользователей воссоздал образ Дженнифер Креченте, что вызвало волну критики.

Компания Character.AI, оцененная в миллиард долларов и поддерживаемая известным венчурным фондом Andreessen Horowitz, утверждает, что у неё более 20 миллионов пользователей и около 100 миллионов созданных персонажей. Чат-бот Дженнифер был описан как «дружелюбный и эрудированный персонаж», предоставляющий советы в области журналистики, видеоигр и поп-культуры. Почти 70 человек успели взаимодействовать с ботом до его удаления.

Страница чат-бота, основанного на личности Дженнифер Креченте

Ситуация получила огласку благодаря Брайану Креченте, дяде Дженнифер и бывшему главному редактору игрового сайта Kotaku. Брайан опубликовал пост в соцсети, где выразил шок от обнаружения бота, основанного на образе его племянницы. Вскоре компания удалила аватар, признав, что он нарушает правила площадки.

В ответ на возмущение семьи Character.AI опубликовала краткое сообщение, в котором поблагодарила за сообщение и пообещала удалить чат-бота, а также провести дальнейшую проверку. Однако в блог-посте под названием «ИИ и смерть достоинства» Брайан Креченте подчеркнул, что ситуация принесла его семье новые страдания, несмотря на все усилия, которые они предпринимали, чтобы почтить память Дженнифер, в том числе через создание благотворительной организации.

Данный случай поднимает серьёзные вопросы о том, как компании, занимающиеся разработкой ИИ, защищают этические принципы и какие механизмы существуют для предотвращения таких инцидентов. На данный момент остаётся неясным, смогут ли пострадавшие от таких действий юридически оспорить действия платформы, так как подобные случаи редко рассматриваются в судах.

Стоит отметить, что в условиях обслуживания Character.AI есть оговорка, которая не позволяет пользователям подавать на в суд на сервис, но, похоже, нет никаких формулировок об особенно уникальной полосе эмоционального стресса, причиняемого пользователями не пользователям платформы.

Ситуация с Character.AI показывает, что вопросы этики и ответственности в отношении ИИ только начинают обсуждаться, и подобные инциденты, вероятно, будут повторяться в будущем.