Grok-1 доступен: Илон Маск приглашает всех к созданию ИИ будущего

Стартап Илона Маска xAI объявил о выходе базовой ИИ-модели Grok-1, представляющей собой мощный языковой алгоритм с 314 млрд. параметров. Модель, разработанная с использованием технологии Mixture-of-Experts, была обучена с нуля и не адаптирована под конкретные задачи.

Выпущенная версия является исходной точкой модели Grok-1, завершившей этап предварительного обучения в октябре 2023 года. Разработчики могут использовать её в качестве основы для создания специализированных решений, расширяя возможности искусственного интеллекта в самых разнообразных областях.

Grok был представлен в ноябре 2023 года и изначально был доступен лишь избранной аудитории, приглашённой Маском лично, а затем и подписчикам тарифа X* Premium+. 12 марта Илон Маск анонсировал выход Grok в открытый доступ, «предоставляя общественности возможность изучить внутреннее устройство искусственного интеллекта или создать конкурирующий продукт».

Модель обучалась на огромном массиве текстовых данных и характеризуется уникальной архитектурой, при которой активны лишь 25% весов для каждого отдельного токена. Такой подход позволяет добиться высокой эффективности и точности в обработке естественного языка.

Модель Grok-1 обучалась на значительном объёме текстовых данных. Детали источников данных для обучения не раскрыты. Распространение файлов модели объёмом 314 ГБ через торрент и наличие лицензии Apache 2.0 позволяет свободно использовать Grok-1, в том числе в коммерческих целях, что может существенно снизить затраты на разработку собственных моделей ИИ.

Содержимое файла RELEASE

Разработка модели осуществлялась на инновационном стеке технологий, базирующемся на JAX и Rust. Инструкции по работе с моделью размещены на странице проекта в GitHub и на Hugging Face.

* Социальная сеть запрещена на территории Российской Федерации.