Искусственный интеллект пишет лучше студентов: Новое исследование

Исследовательская группа Университета Пассау опубликовала в журнале "Scientific Reports" результаты своего исследования, сравнивающего качество текстов, созданных искусственным интеллектом, с эссе, написанными учащимися средних школ. Оказалось, что AI-чатбот превосходит школьников по всем критериям, особенно в владении языком.

Языковая модель ChatGPT демонстрирует впечатляющий прогресс. После того как версия 3.5 не смогла успешно сдать баварский абитур (итоговый экзамен в средних школах Германии) в начале 2023 года, ее последующая версия 4 получила "удовлетворительно" всего через полгода.

В исследовании под названием "Большое сравнение эссе, написанных людьми и созданных ChatGPT", опубликованном в "Scientific Reports", ученые пришли к выводу, что машина пишет лучше английские эссе. Они оценивали тексты, созданные машиной и написанные учащимися средних школ, согласно критериям Министерства образования Нижней Саксонии.

"Меня удивило, насколько четким был результат," говорит профессор Штеффен Хербольд, занимающий кафедру ИИ в Университете Пассау и инициировавший исследование. Обе версии чатбота Open AI набрали больше баллов, чем ученики, при этом GPT-3 занял среднее место, а GPT-4 - лучший балл.

В рамках исследования, посвященного моделям искусственного интеллекта, объединили усилия специалисты разных областей, включая профессора компьютерной лингвистики Аннетт Хаутли-Янис и эксперта по дидактике информатики Уте Хойер. "Наши усилия направлены на подготовку учителей к эффективному использованию возможностей ИИ в образовательном процессе," отметила Хойер.

Она инициировала курс обучения на тему "ChatGPT: возможности и вызовы". Этот курс, проведенный в марте 2023 года, посетили 139 учителей, большинство из которых преподает в немецких гимназиях. Участникам курса были представлены технологические идеи за общими текстогенераторами и ChatGPT. Затем они оценивали англоязычные тексты, не зная их происхождения.

Преподаватели оценивали представленные им эссе на основе шкалы оценок Министерства образования Нижней Саксонии. Контент оценивался по критериям темы, полноты, логики, а также языковым аспектам, таким как словарный запас, сложность и владение языком. Исследовательская группа из Пассау определила шкалу от 0 до 6 для каждого критерия, где 0 - худший балл, а 6 - лучший.

Сто одиннадцать учителей полностью заполнили анкету и оценили в общей сложности двести семьдесят англоязычных эссе. Исследовательская группа обнаружила наибольшее различие в владении языком, где машина набрала 5,25 (GPT-4) и 5,03 балла (GPT-3) соответственно, в то время как учащиеся в среднем набрали 3,9 балла.

"Это не означает, что у студентов плохие языковые навыки. Скорее, баллы, набранные машиной, исключительно высоки," подчеркивает Аннетт Хаутли-Янис, младший профессор компьютерной риторики и обработки естественного языка в Университете Пассау.

Хаутли-Янис, которая вместе с аспирантом Златой Киктевой анализировала тексты с лингвистической точки зрения, считает, что исследование предоставляет дополнительные захватывающие взгляды на развитие языка машины. "Мы видели, как меняются модели со временем и можем демонстрировать с помощью наших исследований, что они улучшились в выполнении задач, которые мы перед ними ставим."

Исследователи также смогли выявить различия между языком, созданным человеком и машиной. "Когда мы будем читать больше текстов, созданных ИИ, нам придется задать себе вопрос, влияет ли это и каким образом на наш человеческий язык," говорит Хаутли-Янис.