WSE-3: самый мощный ИИ-процессор в мире от Cerebras

Компания Cerebras представила новейший чип для искусственного интеллекта WSE-3, который в 2 раза производительнее существующих решений.

Чип WSE-3 (wafer-scale engine) является третьим поколением Wafer-Scale процессора от Cerebras и имеет размер 46,225 мм². Такая часть с 4 триллионами транзисторов, произведенная по 5-нанометровому процессу TSMC, содержит 900 000 ядер и 44 ГБ SRAM, обеспечивая производительность в 125 AI петафлопс, что особенно важно для высокой степени разреженности FP16.

Новая платформа Cerebras CS-3, основанная на одном WSE-3, по утверждениям компании, обеспечивает вдвое более высокую производительность при том же энергопотреблении в 23 кВт, что является значительным шагом в соответствии с законом Мура. По сравнению с Nvidia H100, WSE-3 примерно в 57 раз больше и обладает примерно в 62 раза большей производительностью при разреженности FP16. Однако если сравнивать с двумя системами DGX, содержащими 16 чипов H100, CS-3 будет быстрее примерно в 4 раза только при учете разреженной производительности FP16.

Одним из значительных преимуществ Cerebras является пропускная способность памяти, достигающая 21 ПБ/с благодаря 44 ГБ встроенной SRAM, в то время как H100 от Nvidia имеет максимум 3,9 ТБ/с.

Система CS-3

Cerebras уже планирует использовать свои новые системы в суперкомпьютере AI Condor Galaxy 3, который в итоге охватит 9 дата-центров по всему миру. Кластер AI Condor Galaxy 3 будет установлен в Далласе, Техас, и будет использовать новую платформу CS-3, повышая производительность платформы до 8 AI эксафлопс. При условии, что оставшиеся 8 платформ также будут использовать 64 CS-3, коллективная вычислительная мощность 9 площадок составит 64 AI эксафлопс вместо первоначально обещанных 36 эксафлопс.

Компания утверждает, что теперь CG-3 можно масштабировать до 2048 систем, способных обеспечить производительность 256 AI эксафлопс. По словам Cerebras, такая система сможет обучить модель Llama 70B примерно за день.

Помимо своих акселераторов следующего поколения, Cerebras также объявила о сотрудничестве с Qualcomm для создания оптимизированных моделей для чипов инференсинга в дата-центрах от Qualcomm. Партнерство компаний нацелено на оптимизацию моделей для AI 100 Ultra, использующих разреженность, предполагающую декодирование, MX6 и поиск архитектуры сети, что приводит к 10-кратному улучшению производительности на $1.

В 2023 году Cerebras представила Condor Galaxy 1 — самый мощный ИИ-суперкомпьютер в мире, работающий на основе собственных специализированных чипов, которые отличаются своим размером, сопоставимым с обеденной тарелкой, и превосходят стандартные ИИ-чипы в 56 раз. В каждом чипе Cerebras сконцентрирована вычислительная мощность сотен традиционных процессоров.

Cerebras была основана в 2016 году с целью создания аппаратного обеспечения, которое ускоряет разработку ИИ. В 2019 году компания представила, по ее словам, самый большой компьютерный чип и заявила, что их чипы могут обучать системы ИИ в 100-1000 раз быстрее существующего оборудования.