ChatGPT угрожает науке: химики придумали, как его остановить

Академические издатели сталкиваются с быстрым и повсеместным внедрением новых текстовых генераторов с искусственным интеллектом, таких как ChatGPT. Они сильно упрощают жизнь исследователям, позволяя писать развёрнутые научные статьи за считанные минуты, однако ценность таких статей оставляет желать лучшего, так как ИИ зачастую склонен к выдумыванию фактов, которые абсолютно не соответствуют действительности.

В связи с этим многие исследовательские журналы недавно обновили свои правила публикации, запретив использование ChatGPT в качестве автора и требуя полного раскрытия информации о его применении. Однако хитрые исследователи в погоне за публикациями зачастую скрывают факт использования нейросетей в написании своих статей, чем лишь укрепляют порочный круг лжи.

Существующие детекторы искусственного интеллекта не всегда могут корректно выявить наличие в тексте машинной генерации или точно определить её процент. Погрешность в работе подобных инструментов по-прежнему слишком высока, чтобы рассчитывать на них всерьёз.

Однако теперь, кажется, ключ в создании более эффективных инструментов обнаружения генерации наконец найден. В исследовательской статье , опубликованной на портале ScienceDirect, учёными химического факультета из Канзасского университета США описывается метод проверки текста с использованием машинного обучения (ML), где детектор анализирует 20 особенностей стиля письма, включая вариацию длины предложений, частоту повтора определённых слов и использование знаков препинания, чтобы определить, кто написал исследуемый текст: реальный человек или искусственный интеллект.

Для проверки точности детектора исследователи протестировали его на 200 публикациях в журнале Американского химического общества. Для 100 из них инструменту были предоставлены названия статей, а для других 100 — их аннотации.

В ходе анализа не был задействован весьма спорный, как считается среди исследователей, показатель недоумения, который часто демонстрирует ложное определение машинной генерации в текстах, написанных не нативными носителями языка.

По итогу, инструмент показал поразительные результаты и превзошёл онлайн-инструменты по типу ZeroGPT и прочие, идентифицировав написанные GPT-3.5 и GPT-4 тексты со 100% точностью.

Благодаря данному исследованию, усилия по разработке детекторов ИИ могут получить значительный толчок за счёт адаптации программного обеспечения к конкретным типам письма. Как сказал один из исследователей, результаты показывают, что «можно использовать небольшой набор признаков, чтобы получить высокий уровень точности».

Хотя разработка выглядит многообещающе, сами авторы исследования отмечают, что их тесты проводились, фактически, в вакууме: тестировалась только одна языковая модель, один тип промптов, один тип статей из одного журнала, да и тематика этого журнала весьма специфическая — химия.

Потребуется немало времени, чтобы просто протестировать эффективность выявленного метода на другого рода текстах, и уж тем более разработать готовый продукт для массового пользования. Но начало положено, и это определённо радует.