От ChatGPT к познанию Вселенной: Colossus – самая мощная система для обучения ИИ?

Компания Nvidia помогла суперкомпьютеру Colossus достичь небывалой вычислительной мощности. Теперь этот гигантский кластер, принадлежащий компании xAI Илона Маска, официально признан крупнейшим в мире центром обучения искусственного интеллекта.

Внушительный вычислительный комплекс, расположенный в Мемфисе, штат Теннесси, был построен для обучения третьего поколения чат-бота Grok. Команде xAI удалось завершить строительство Colossus в рекордные сроки — всего за 122 дня, а спустя 19 дней после установки начать обучение первых моделей. По словам представителей Nvidia, подобные технологии обычно требуют многомесячной или даже многолетней подготовки.

В основе Colossus лежит мощная сеть из 100 000 графических процессоров NVIDIA Hopper с прямым доступом к памяти. Nvidia Spectrum-X позволяет данным перемещаться напрямую между узлами в обход операционной системы, что существенно снижает задержки при их обработке.

Представители Nvidia особо отметили беспрецедентную производительность суперкомпьютера. На всех трех уровнях сетевой архитектуры не наблюдается ни замедления работы приложений, ни потерь при передаче данных из-за столкновения потоков. Технология контроля перегрузок Spectrum-X обеспечивает стабильную пропускную способность на уровне 95%.

Илон Маск , основатель xAI, недавно поделился планами в социальной сети X: "Colossus — самая мощная система обучения ИИ в мире. Более того, через несколько месяцев её размер удвоится до 200 тысяч (50 тысяч H200)". Он также выразил благодарность команде xAI, NVIDIA и многочисленным партнерам.

Компания xAI, основанная Маском в прошлом году, ставит перед собой грандиозную цель — использовать генеративный искусственный интеллект для познания истинной природы Вселенной.

Чат-бот Grok, подобно ChatGPT от OpenAI, построен на основе большой языковой модели. Для его обучения требуется анализ колоссальных объемов данных, включая тексты, изображения и другой контент, преимущественно собранный из интернета. Сервис доступен премиум-подписчикам платформы X.