Звонок за $0,75: ChatGPT стал инструментом телефонных мошенников

Ученые из США доказали, что Realtime API от OpenAI для голосовой связи может быть использован для автоматизации телефонных мошенничеств. Стоимость одного успешного мошенничества при этом составила менее доллара.

Опасения о том, что голосовые ИИ-модели могут быть использованы для злоупотреблений, появились ещё в июне. Тогда OpenAI задержала выпуск голосовой функции в ChatGPT из-за вопросов безопасности. Ранее компания продемонстрировала голосовую модель, которая имитировала знаменитость, но после бурной реакции со стороны общественности инструмент был отозван.

Однако API, выпущенный в начале октября, предоставляет схожие возможности сторонним разработчикам. Функция позволяет отправлять текст или аудио модели GPT-4o и получать ответы в виде текста, аудио или их комбинации. Несмотря на меры безопасности, риск злоупотреблений оказался недостаточно снижен, что подтвердили результаты эксперимента учёных из Иллинойсского университета в Урбане-Шампейн (UIUC).

Целью исследования было выяснить, можно ли использовать API для автоматизации телефонных мошенничеств. ИИ-модели с голосовым управлением могут автоматизировать этот процесс. В ходе эксперимента учёные разработали агентов, которые успешно выполняли задачи, необходимые для проведения мошенничеств. Стоимость каждого удачного звонка составила около $0,75. Для создания агентов потребовалось всего 1051 строка кода, большая часть которого была направлена на работу с голосовым API.

Пример мошенничества с одним из банков (источник: Daniel’s Substack )

ИИ-агенты использовали модель GPT-4o, инструмент автоматизации браузеров Playwright и определённые инструкции для совершения мошенничеств. Сценарии включали взлом банковских аккаунтов и криптовалютных кошельков, кражу подарочных кодов и учётных данных. Например, для успешного перевода денег с банковского счёта агенту потребовалось 26 шагов.

Успех различных сценариев варьировался. Например, кража учётных данных Gmail достигала 60% успеха, занимала 122 секунды и обходилась в $0,28. Переводы с банковских счетов оказались сложнее: их успех составил лишь 20%, процесс занял 183 секунды, а стоимость составила $2,51.

Средний показатель успеха всех сценариев составил 36%, а средняя стоимость — $0,75. Причины неудач чаще всего заключались в ошибках распознавания речи, а также в сложности навигации по банковским сайтам.

В ответ на вопрос о возможных мерах противодействия авторы исследования отметили, что проблема сложна и требует комплексного подхода, аналогичного кибербезопасности. Специалисты видят решения на уровне провайдеров сотовой связи, поставщиков ИИ и регулирования.

OpenAI в свою очередь указала на наличие многоуровневых мер безопасности, направленных на предотвращение злоупотреблений, включая автоматический мониторинг и проверку контента. Компания подчёркивает, что её политика запрещает использование API для рассылки спама и вредоносной деятельности.