ИИ vs ученые: кто креативнее в мире науки?

Группа исследователей из Стэнфордского университета сравнила творческие способности искусственного интеллекта и человека в создании новых научных концепций. Результаты эксперимента показали, что машины способны генерировать более нестандартные идеи, чем люди, хотя и с некоторыми оговорками.

Для исследования выбрали крупную языковую модель (LLM), основанную на алгоритме Claude 3.5 от компании Anthropic. У ИИ были конкуренты - группа из более чем 100 специалистов по компьютерным наукам, чьей специализацией является обработка естественного языка. 49 участников напрямую соревновались с моделью в генерации идей, а остальные выступали в роли судей или совмещали обе функции.

Чтобы повысить мотивацию участников, исследователи предложили вознаграждение в размере 300 долларов за каждую идею, а также дополнительную премию в 1000 долларов, если предложенная концепция войдет в пятерку лучших по оценкам судей.

Оценка предложенных концепций проводилась по нескольким критериям. Судьи анализировали не только сами идеи, но и их краткие описания, подготовленные как людьми, так и машинами. Для объективности все представленные материалы были приведены к единому стилю с помощью другой языковой модели, поэтому определить источник по особенностям текста было нельзя.

Команда разработала "умный фильтр", который анализировал данные о ранее опубликованных работах и их успешности на ведущих научных конференциях. С его помощью исследователи смогли быстро отсеять наиболее перспективные предложения из тысяч идей, выданных языковыми моделями.

Результаты оказались неоднозначными . Идеи, предложенные ИИ, судьи оценили как более захватывающие и оригинальные по сравнению с идеями людей. Однако концепции экспертов оказались более реалистичными и осуществимыми на практике. Можно сделать такой вывод: хотя ИИ и способен на более творческий подход, ему не хватает понимания практических ограничений реального мира.

Обнаружилась и любопытная закономерность: чем больше идей генерировал ИИ, тем меньше новизны в них оставалось. Среди почти 4000 предложенных моделями концепций лишь около 200 были признаны действительно уникальными и стоящими дальнейшего изучения.

Авторы исследования признают: оценка новизны и креативности - непростая задача. Несмотря на попытки стандартизировать процесс, даже небольшие различия в длине или формулировках могли повлиять на восприятие судей. Кроме того, по словам участников, ограничения во времени сильно мешали творческому процессу, и в других условиях они бы справились с задачей гораздо лучше.

Исследователи из Стэнфорда отмечают: внедрение ИИ в науку несет в себе как возможности, так и риски. Чрезмерная зависимость от машин может снизить оригинальность человеческого мышления. К тому же, если ученые будут полагаться в основном на крупные языковые модели, возможностей для живого общения и обмена идеями между людьми станет в разы меньше. С другой стороны, идеи, созданные искусственным интеллектом, могут стать отправной точкой для множества великих открытий.