Компания Eleven Labs заблокировала пользователей своей нейросети за оскорбления голливудских звёзд

Британская фирма Eleven Labs, занимающаяся искусственным интеллектом, ужесточила условия использования своей нейросети Prime Voice AI после того, как она использовалась для произношения расистских и гомофобных высказываний голосами знаменитостей.

Eleven Labs написала в Twitter , что обнаружила «растущее число случаев неправильного использования клонирования голоса» всего через несколько дней после выпуска демоверсии нейросети.

Фирма не сообщила подробностей о случаях злоупотребления, но форум 4chan наполнился голосами Квентина Тарантино, Джорджа Лукаса, Джо Рогана, Эммы Уотсон и других, которые скандировали оскорбительные высказывания. Во многих сообщениях упоминалась Eleven Labs, причем некоторые пользователи утверждали, что фирма заблокировала их, а другие предоставляли ссылки на демоверсию инструмента.

В одном примере сгенерированный голос Эммы Уотсон читает отрывок из «Майн кампф» (книга Адольфа Гитлера с антисемитистскими выражениями). В другом голос писателя Бена Шапиро делает расистские замечания в адрес американского политика Александрии Окасио-Кортес. В третьем примере кто-то говорит, что «права трансгендеров — это права человека», после чего он был задушен.

ElevenLabs объявила в Twitter о скором внедрении дополнительных мер безопасности. Они будут включать:

• требование платежной информации или идентификации личности для активации инструмента;
• ручную проверку каждого запроса на клонирование голоса;
• внедрение инструмента для обнаружения звука, сгенерированного искусственным интеллектом;
• блокировку учетных записей, о которых сообщается, что они создают «вредный контент».

По информации с сайта ElevenLabsЮ компания была основана Петром Дабковски, бывшим инженером по машинному обучению Google, и Мати Станишевски, бывшим стратегом по развертыванию ПО для анализа данных Palantir. ElevenLabs позиционирует свой инструмент как средство для быстрого создания звуковых дубляжей для фильмов, телевидения и YouTube. Фирма утверждает, что сгенерированный голос требует небольшого редактирования, что позволяет использовать нейросеть также для мгновенного перевода иностранных языков и быстрое создание аудиокниг.