Исследование: ИИ может заменить людей в 40% случаев

Ученые из Калифорнийского университета в Сан-Диего опубликовали исследование, посвященное возможности современного искусственного интеллекта обойти знаменитый тест Тьюринга – критерий, определяющий способность машины имитировать человеческое поведение в беседе настолько убедительно, что собеседник не сможет отличить ИИ от настоящего человека.

Авторы работы воспользовались методологией, предложенной Аланом Тьюрингом 70 лет назад. В ходе эксперимента они организовали 1400 игр, в которых 650 участников вели короткие беседы то с человеком, то с моделью GPT. Задача участников была определить, кто является их собеседником.

В результате выяснилось, что модели GPT-4 ввели в заблуждение участников в 41% случаев, тогда как предыдущая версия GPT-3.5 – только на 5-14%. Люди убедили участников в том, что они не машины, в 63% случаев.

Таким образом, ученые пришли к выводу, что GPT-4 не проходит тест Тьюринга, но подчеркнули, что тест остается важным инструментом оценки эффективности машинного диалога. Однако способность модели GPT-4 в 41% случаев убеждать людей в своей «человечности» говорит о том, что обман человека с помощью ИИ в определенных контекстах уже может быть реальной, особенно когда люди менее внимательны к тому, с кем они разговаривают.

Исследователи отметили, что участники, которые правильно идентифицировали собеседника, обращали внимание на несколько факторов: формальность или неформальность речи, краткость или многословность, грамматика и пунктуация, а также тенденция к стандартным ответам.

Ученые предполагают, что с ростом «человечности» и усиления индивидуальных особенностей в беседе ИИ станет еще более важным выявлять факторы, ведущие к обману, и разрабатывать стратегии его предотвращения. Отчет поднимает важные вопросы о социальных и экономических последствиях широкого использования искусственного интеллекта, который может успешно имитировать человеческое общение, и о стратегиях, которые могут помочь обществу адаптироваться к новым вызовам, связанным с развитием ИИ.