Тьюринг бы удивился: ИИ обманул людей в 73% диалогов

Исследователи из Калифорнийского университета в Сан-Диего провели масштабное тестирование, в результате которого две современные языковые модели — GPT-4.5 и LLaMa-3.1-405B — успешно прошли классический тест Тьюринга, обманув людей и заставив их поверить, что общаются с человеком.

В эксперименте использовался трёхсторонний формат теста: человек-собеседник одновременно общался с двумя участниками — настоящим человеком и искусственным интеллектом, после чего должен был определить, кто есть кто. Исследование проводилось на двух независимых группах добровольцев — студентах университета и участниках платформы Prolific.

Результаты оказались поразительными — GPT-4.5, настроенная на имитацию человека, была принята за живого собеседника в 73% случаев, превзойдя настоящих участников-людей. Модель LLaMa-3.1 с такой же настройкой убедила собеседников в своей человечности в 56% случаев, практически не уступив реальным людям.

Базовые модели без специальной настройки на «человечность» показали гораздо худшие результаты. GPT-4o и ранняя программа ELIZA были распознаны как искусственные в большинстве случаев, с показателями успеха лишь 21% и 23% соответственно.

Исследование впервые за 75 лет существования теста Тьюринга продемонстрировало, что искусственные системы способны пройти этот классический тест интеллекта. Алан Тьюринг предложил его в 1950 году как способ определения, могут ли машины демонстрировать разумное поведение, неотличимое от человеческого.

Интересно, что лишь 12% участников проверяли собеседников на уровень знаний или логику — то, что традиционно считалось признаками интеллекта. Большинство обращало внимание на социальные, эмоциональные и культурные аспекты общения, например, на естественность языка или наличие индивидуальности.

Современные модели оказались способны не просто вести диалог как живые собеседники, но делать это убедительнее, чем сами люди. Исследователи отмечают, что для успеха моделям требовалась специальная настройка на конкретный образ — молодого, относительно интровертного человека, интересующегося интернет-культурой.

Результаты имеют важное практическое значение. Они показывают, что современные общедоступные языковые модели могут незаметно заменить человека в коротких разговорах. Такие системы потенциально способны автоматизировать рабочие места, требующие кратких человеческих взаимодействий, или имитировать социальные отношения — от случайных бесед с незнакомцами до общения с друзьями, коллегами или даже романтическими партнёрами.

Авторы исследования предупреждают о возможных негативных последствиях. «Поддельные люди» — системы, способные убедительно имитировать людей — представляют риск, поскольку могут использоваться для манипуляций, распространения дезинформации или социальной инженерии. Люди могут проводить всё больше времени с этими имитациями человеческого общения, что потенциально обесценивает реальные человеческие взаимодействия.

Исследование также показало, что способность распознавать ИИ практически одинакова у разных групп людей — даже те, кто ежедневно работает с языковыми моделями, не показали значительно лучших результатов. Однако некоторые стратегии, такие как попытки «взломать» модель, оказались более эффективными.

Тест Тьюринга не является статичной оценкой — его результаты неизбежно связаны с меняющимися представлениями людей как о машинах, так и о самих себе. По мере того как машины всё лучше имитируют наше поведение, различия между нами могут становиться всё более значимыми.

«Хотя машина теперь впервые прошла тест Тьюринга, это не последний раз, когда у людей будет шанс в нём преуспеть», — заключают учёные. Они предполагают, что мы можем научиться лучше замечать тонкие признаки, которые делают нас уникально человечными.