Коктейль с сюрпризом: чат-бот супермаркета предложил клиентам приготовить лимонад из аммиака и отбеливателя

Чат-бот для составления рецептов новозеландского супермаркета PAK'nSAVE, названный «Savey Meal-Bot», предлагает клиентам магазина, да и просто всем желающим, весьма абсурдные рецепты с опасными ингредиентами. Для генерации ответов бот использует языковую модель GPT-3.5 от компании OpenAI.

Изначально PAK'nSAVE позиционировал бота как инструмент для составления рецептов из остатков продуктов. Например, если ввести в поле запроса лимоны, сахар и воду, бот предложит лимонад. Однако 4 августа новозеландский политический обозреватель Лиам Хеир решил проверить пределы возможностей Savey Meal-Bot и написал в своём Twitter *: «Я спросил у PAK'nSAVE, что можно приготовить только из воды, отбеливателя и аммиака, и бот предложил сделать ядовитый хлорный газ, или, как он его назвал — «ароматную водную смесь».

«Убийственно вкусный» рецепт от Savey Meal-Bot (переведено с английского)

При смешивании отбеливателя и аммиака образуются вредные химические вещества, называемые хлораминами, которые могут раздражать лёгкие и быть смертельно опасными в высоких концентрациях.

Забава с «оригинальными» рецептами от искусственного интеллекта быстро разлетелась по социальной сети. Пользователи заставляли Savey Meal-Bot составлять рецепты «восхитительно смертельного деликатеса» с муравьиным ядом и инсектицидом, «термитного салата» и «хлебного сэндвича с ядом».

Как отмечают эксперты, подобные чат-боты должны тщательно тестироваться на предмет безопасности перед их широким внедрением. В процессе тестирования необходимо моделировать попытки злоумышленников или простых энтузиастов обмануть систему и заставить её давать опасные рекомендации. Однако в случае с Savey Meal-Bot, похоже, разработчики не уделили должного внимания подобным проверкам.

Представители сети PAK'nSAVE, видимо, решили, что лучшее защита — это нападение, и заявили, что разочарованы действиями пользователей. Тем не менее, специалисты пообещали улучшить модерацию контента, чтобы Savey Meal-Bot стал безопаснее. Однако эксперты считают, что одной модерации недостаточно — необходимо изначально обучать такие модели ответственному поведению.

Инцидент с Savey Meal-Bot иллюстрирует проблему ненадёжности чат-ботов, основанных на технологиях искусственного интеллекта. С одной стороны, они могут быть полезны для пользователей, автоматизируя рутинные задачи. Но, с другой стороны, если их работа не контролируется должным образом, это может привести к беде.

Например, если советы ИИ не будут очевидно абсурдными изначально, и чат-бот ненароком обманет в каких-то мелочах, где сложно заметить подвох, это может привести к весьма печальным последствиям, когда пользователь решит довериться боту в его рекомендациях.

Эксперты рекомендуют компаниям, использующим чат-боты, не полагаться только на фильтрацию и модерацию контента. Необходимо внедрять механизмы предупреждения опасного поведения ещё на уровне обучения ИИ-модели. Такой подход требует больших усилий, но является наиболее надёжным для предотвращения подобных инцидентов в будущем.

* Социальная сеть запрещена на территории Российской Федерации.