Ну всё, приехали: чат-боты с отрывом обошли людей в тесте на креативность

В новом исследовании, опубликованном 14 сентября в журнале Scientific Reports, утверждается, что чат-боты на базе ИИ превзошли человека в тесте на креативное мышление. Эти результаты добавляют новые аспекты в дискуссии о том, что означает «креативность» в контексте машин и искусственного интеллекта.

Исследователи «опросили» несколько чат-ботов на базе языковых моделей GPT-3, GPT-3.5 и GPT-4 разработки OpenAI. Учёные просили ботов предложить как можно больше вариантов использования верёвки, коробки, карандаша и свечи. Ту же задачу исследователи поставили перед 256 реальными испытуемыми. На выполнение задания отводилось 30 секунд.

Каждый чат-бот был протестирован 11 раз для чистоты эксперимента и усреднения результатов. Для итоговой оценки использовались два метода: алгоритмический и оценка шести независимых экспертов.

Средние оценки чат-ботов оказались выше, чем у живых людей, во многом благодаря большему числу предложенных вариантов, ведь тридцати секунд с головой хватит любой нейросети, чтобы предложить десятки, а то и сотни вариантов ответа. Однако, как отмечают исследователи, наилучшие идеи всё же принадлежали людям.

Симоне Грассини, доцент психологии в Университете Бергена в Норвегии, заявил: «Эти модели постоянно развиваются. Технологии сделали большой шаг вперёд в имитации человеческого поведения за последние несколько лет».

Тем не менее, исследование не претендует на доказательство способностей ИИ заменить человека в креативных задачах. Райан Бернелл, старший научный сотрудник в Институте Алана Тьюринга, подчёркивает: «Подтверждение того, что машины могут хорошо справляться с задачами, разработанными для измерения креативности у людей, не доказывает их способность к оригинальному мышлению».

Бернелл также отмечает, что чат-боты являются своеобразными «чёрными ящиками» в плане того, на каких данных они были обучены и как генерируют свои ответы. По его мнению, их поведение может быть просто результатом обработки предыдущих данных, а не проявлением собственной креативности.

Несмотря на подобную критику, совсем не значит, что абсолютно бесполезно сравнивать подход машин и людей к решению определённых проблем и задач, считает Анна Иванова, аспирант MIT. По её мнению, главное не предполагать, что люди и модели решают проблемы одинаково. Их подход может отличаться кардинально, хоть и способен привести к похожим результатам.

В целом, результаты описанного исследования могут стать отправной точкой для дальнейших исследований в области кибербезопасности и искусственного интеллекта, а также для понимания того, как машины и люди подходят к креативным задачам.