Научные статьи ChatGPT смогли обмануть академиков

Группа исследователей во главе с Северо-Западным университетом использовала ChatGPT для написания 50 рефератов в стиле 5 различных научных журналов.

4 академика, которые были разделены на 2 группы, определяли, кто писал реферат – человек или искусственный интеллект. Участники одной группы проверяли настоящие рефераты, а второй - сгенерированные, затем рефераты меняли друг с другом. Каждый участник рассмотрел 25 научных докладов.

В 32% случаев сгенерированные статьи успешно прошли проверку - академики действительно думали, что они были написаны людьми. При этом проверяющие знали, что среди рефератов есть те, которые были написаны искусственным интеллектом. Также рецензенты заявили, что было очень сложно отличить настоящие рефераты от поддельных. В некоторых докладах ChatGPT подменял факты об исследованиях, которые приводил в качестве доказательств, чем и выдавал себя.

По словам учёных, эксперимент показывает, что материал, созданный ChatGPT, может быть очень правдоподобным. Тот факт, что рецензенты одобряли ИИ-рефераты в 32% случаев, означает, что эти доклады действительно хороши и могут обмануть неподготовленного проверяющего.

ChatGPT уже не раз подвергался запретам и блокировкам. Например, недавно учёным запретили использовать ChatGPT для написания статей . Руководители Международной конференции по машинному обучению (ICML) в целях защиты от плагиата запретили приём статей, созданных с помощью ИИ.

Также из-за опасений по поводу негативного воздействия на успеваемость учащихся, а также из соображений безопасности и точности контента доступ к ChatGPT был заблокирован в сетях и на устройствах государственных школ Нью-Йорка.