5 из 10: новый GPT-4 опережает конкурентов в математических задачах

OpenAI недавно выпустила новую версию чат-бота GPT-4-04-09, которая уже продемонстрировала свои улучшенные способности, особенно в решении математических задач олимпиадного уровня. Обновление значительно превзошло своих предшественников в данной области, продемонстрировав впечатляющую эффективность.

Проведенные тесты на платформе Kaggle в рамках соревнования AI Mathematical Olympiad Prize показали, что обновленный GPT-4 смог успешно решить 5 из 10 предложенных задач. Предыдущая версия справлялась только с 1 задачей, причем для ее решения требовался запрос с подсказками. В качестве сравнения, конкурент Claude 3 Opus смог решить только 1 задачу без подсказок.

Итоговые результаты теста

Прогресс чат-бота высоко оценили сотрудники OpenAI, назвав его «существенным», особенно подчеркивая улучшения в решении математических задач.

Твит сотрудника OpenAI о новой версии GPT-4

Ожидается, что новая версия будет интегрирована в веб-версию ChatGPT с подпиской, а также представлена на платформе LMSYS Arena, где пользователи смогут непосредственно оценить улучшения.

Следует отметить, что выпуск новой версии GPT-4 совпал с обновлением рейтинга интеллектуальных моделей, где модель CMD-R+ от компании Cohere с параметрами свыше 100 миллиардов превзошла предыдущие версии GPT-4 от весны 2023 года. Тем не менее, Claude 3 Opus по-прежнему занимает лидирующие позиции в рейтинге. В ближайшее время ожидаются публикации метрик, которые продемонстрируют улучшение качества рассуждений и способностей в математике новой версии GPT-4.