GPT в науку: учёные разработают новую LLM-модель с триллионом параметров

Национальный центр суперкомпьютерных приложений (NCSA) объявил о присоединении в качестве учредителя к консорциуму « Триллион параметров » (Trillion Parameter Consortium, TPC). Эта глобальная инициатива объединяет ведущих учёных из престижных научных институтов, федеральных лабораторий, академических кругов и промышленности.

Целью консорциума является создание крупномасштабных систем искусственного интеллекта и продвижение надёжного, доверительного ИИ для научных открытий. Участники стремятся к обмену знаниями и координации проектов ИИ, чтобы избежать дублирования усилий и увеличить их влияние. Также планируется создание глобальной сети ресурсов и экспертизы.

Название консорциума отражает амбицию построения передовых языковых моделей для науки и инженерии. Идея сотрудничества зародилась несколько лет назад с развёртыванием экзафлопных вычислительных платформ в лабораториях Министерства энергетики США, таких как Frontier, Aurora и El Capitan.

На сайте TPC указано, что сообщество должно работать вместе для создания моделей, сопоставимых с самыми крупными частными моделями. Согласно некоторым источникам, одна из самых передовых частных моделей, GPT-4 от OpenAI, уже имеет около 1,7 триллиона параметров, что превышает амбициозную цель учёных. Тем не менее, они надеются, что их ИИ-модели будут отличаться высокой степенью надёжности и точности.

Рик Стивенс, директор ассоциированной Аргонской национальной лаборатории по компьютерным, экологическим и жизненным наукам, пояснил, что в их лаборатории и во многих партнёрских учреждениях во всем мире команды начинают разрабатывать передовые ИИ-модели для научного использования.

NCSA разрабатывает собственный ресурс передовых вычислений и данных, ориентированный на ИИ, под названием DeltaAI, который должен играть ключевую роль в усилиях консорциума. Запуск DeltaAI запланирован на 2024 год, он утроит вычислительную мощность NCSA, ориентированную на ИИ, и значительно расширит доступные возможности передовых вычислений. На развёртывание этой модели NCSA уже получил грант в размере 10 миллионов долларов от Национального научного фонда (NSF).

Другие учредители также работают над своими моделями ИИ. Вышеупомянутая Аргонская лаборатория, например, разрабатывает ИИ-модель под названием AuroraGPT, которая в конечном итоге может стать мощным «мозгом» для научных исследователей.

По итогу, сотрудничество в рамках консорциума TPC направлено на использование глобальных усилий. Работа включает в себя подготовку высококачественных обучающих данных, проектирование и оценку архитектур моделей, а также разработку инноваций в стратегиях оценки работы моделей с учётом предвзятости, доверительности и соответствия намеченным целям.