Мал да удал: как крошечный чип обошел лучший суперкомпьютер мира

Компьютерные чипы стали ценным товаром, что подтверждается тем, что Nvidia вошла в число самых дорогих компаний мира, а тайваньский производитель чипов Nvidia, TSMC, стал важной геополитической силой . Неудивительно, что все больше стартапов и уже устоявшихся компаний стремятся занять свое место на этом рынке.

Среди них выделяется Cerebras. Эта компания производит чипы размером с тортилью , содержащие почти миллион процессоров, каждый из которых имеет свою локальную память. Эти процессоры не требуют передачи информации к общей памяти, что делает их крайне быстрыми. Связи между процессорами, которые в большинстве суперкомпьютеров требуют соединения отдельных чипов через огромные машины, также очень быстрые.

Это делает чипы идеальными для выполнения специфических задач. Недавние исследования показали, что преимущества таких чипов могут быть значительными. В одном из исследований чипы Cerebras превзошли суперкомпьютер Frontier в моделировании молекул. Также они показали, что упрощенная модель ИИ может использовать треть энергии без потери производительности.

Молекулярная матрица

Материалы, которые используются в производстве, играют ключевую роль в развитии технологий. Они открывают новые возможности, преодолевая прежние ограничения по прочности или устойчивости к нагреву. Например, для успешного использования термоядерной энергии требуется, чтобы материалы могли выдерживать экстремальные условия.

Ученые используют суперкомпьютеры для моделирования того, как металлы, применяемые в термоядерных реакторах, справляются с теплом. Эти симуляции рассматривают отдельные атомы и используют законы физики для управления их движением и взаимодействиями в больших масштабах. Современные суперкомпьютеры могут с высокой точностью моделировать материалы, содержащие миллиарды или даже триллионы атомов.

Однако скорость таких симуляций застопорилась. Из-за особенностей конструкции суперкомпьютеров они могут моделировать ограниченное количество взаимодействий в секунду. Увеличение размеров машин только усугубляет проблему, ограничивая общую продолжительность молекулярных симуляций.

Cerebras сотрудничала с лабораториями Сандии, Лоуренса Ливермора и Лос-Аламоса, чтобы выяснить, могут ли их чипы ускорить процесс моделирования . Команда назначила каждому процессору на чипе симулированный атом, что позволило быстро обмениваться информацией об их положении, движении и энергии. Процессоры, моделирующие атомы, находящиеся близко друг к другу в реальности, также были соседями на чипе.

Команда смоделировала 800 000 атомов в трех материалах – меди, вольфраме и тантале, которые могут быть полезны в термоядерных реакторах. Результаты оказались впечатляющими: симуляции тантала показали 179-кратное ускорение по сравнению с суперкомпьютером Frontier. Это означает, что чип может обработать год работы суперкомпьютера за несколько дней, значительно увеличив длительность симуляций с микросекунд до миллисекунд.

"Я занимаюсь атомистическим моделированием материалов более 20 лет и за это время участвовал в значительных улучшениях как в размере, так и в точности симуляций. Однако, несмотря на все это, мы не могли увеличить реальную скорость симуляций. Время, необходимое для проведения симуляций, почти не изменилось за последние 15 лет," – сказал Айдан Томпсон из лаборатории Сандии. "С чипом Cerebras Wafer-Scale Engine мы можем внезапно двигаться с гиперзвуковой скоростью."

Хотя чип увеличивает скорость моделирования, он не может конкурировать по масштабу. Количество симулируемых атомов ограничено числом процессоров на чипе. Следующие шаги включают назначение нескольких атомов каждому процессору и использование новых суперкомпьютеров на основе ваферных чипов, объединяющих 64 системы Cerebras . Команда оценивает, что такие машины могут моделировать до 40 миллионов атомов тантала с аналогичной скоростью.

Облегчение для ИИ

Помимо моделирования физического мира, ваферные чипы также сосредоточены на искусственном интеллекте. Современные модели ИИ растут в геометрической прогрессии, что увеличивает стоимость и энергопотребление их обучения и эксплуатации. Ваферные чипы могут сделать ИИ более эффективным.

В отдельном исследовании ученые из Neural Magic и Cerebras работали над уменьшением размера языковой модели Llama от Meta, содержащей 7 миллиардов параметров. Для этого они создали "разреженную" модель ИИ, где многие параметры алгоритма установлены на ноль. В теории это делает алгоритм меньше, быстрее и эффективнее. Однако современные чипы ИИ, называемые графическими процессорами (GPU), обрабатывают алгоритмы по частям , что не позволяет пропускать все обнуленные параметры.

Поскольку память распределена по ваферному чипу, он может читать каждый параметр и пропускать нули в любом месте. Тем не менее, чрезвычайно разреженные модели обычно работают хуже плотных моделей. Но команда нашла способ восстановить потерянную производительность с помощью дополнительного обучения. Их модель сохранила производительность, даже при 70% обнуленных параметров. Работая на чипе Cerebras, она потребляла всего 30% энергии и выполнялась в три раза быстрее полной модели.

Победа ваферных чипов?

Несмотря на все достижения, Cerebras остается нишевым игроком. Более традиционные чипы Nvidia продолжают доминировать на рынке. Компании вложили значительные средства в экспертизу и инфраструктуру, построенную вокруг Nvidia, и в ближайшее время это вряд ли изменится.

Однако ваферные чипы могут продолжать доказывать свою ценность в нишевых, но важных приложениях в исследовательской сфере. В будущем этот подход может стать более распространенным. Способность производить ваферные чипы только сейчас достигает совершенства. В подтверждение этого, крупнейший производитель чипов в мире, TSMC, недавно объявил о расширении своих возможностей по производству ваферных чипов. Это может сделать такие чипы более распространенными и мощными.

Команда, стоящая за работой по моделированию молекул, считает, что влияние ваферных чипов может быть еще более драматичным. Как и графические процессоры раньше, добавление ваферных чипов в суперкомпьютеры может создать мощные машины в будущем.

"Будущая работа будет сосредоточена на расширении эффективности сильного масштабирования, продемонстрированной здесь, для развертывания на уровне объекта, что потенциально приведет к еще большему сдвигу в списке Top500 суперкомпьютеров, чем революция, вызванная GPU," – написали ученые в своей статье.