Гонка суперкомпьютеров продолжается. Кто заберёт золотую медаль в этом противостоянии?

MLPerf, ведущий публичный бенчмарк на способность компьютерных систем обучать нейронные сети, добавил в свою таблицу результаты тестирования производительности различных систем для обучения крупных языковых моделей, включая GPT-3 и Stable Diffusion. В последних испытаниях участвовали системы, работающие на базе технологий Intel, Nvidia и Google.

Nvidia традиционно продолжает доминировать в тестах MLPerf с системами, созданными на её графических процессорах H100, однако вишенкой на торте стали результаты тестирования нового суперкомпьютера компании под названием Eos на базе 10 752 графических процессоров. Сверхмощная машина завершила поставленную задачу обучения GPT-3 (не полное обучение, а лишь до определённой контрольной точки) за чуть менее 4 минут. Тем временем, подразделение облачных вычислений Microsoft Azure, использующее систему аналогичного размера, отстало от Eos всего на несколько секунд.

В общем, в MLPerf за недавнее время было предоставлено более 200 результатов тестирований от 19 различных компаний, которые показали увеличение производительности в 2,8 раза за последние пять месяцев и в 49 раз с момента запуска MLPerf пять лет назад.

Intel представила результаты для систем с ускорителем Gaudi 2 и только с использованием процессоров Xeon четвёртого поколения. Особенностью стало включение в Gaudi 2 возможностей восьмибитной плавающей точки (FP8), что позволило ускорить обучение почти в два раза. Сравнение показало, что система Gaudi 2 примерно в три раза быстрее, чем система Google TPUv5e, и приблизительно вдвое медленнее, чем Nvidia H100.

Intel также продемонстрировала обучение исключительно на CPU, показывая время от нескольких минут до нескольких часов для различных бенчмарков. Компания также представила данные о том, что четырёхузловая система на базе Xeon может специализировать уже обученную нейросеть для стабильной диффузии менее чем за пять минут.

Результаты тестирования и постоянный рост производительности подобных систем демонстрирует колоссальную конкуренцию в отрасли обучения искусственного интеллекта. Кроме того, становится очевидным, что темпы развития ИИ ещё не достигли максимума, а потолок развития нейронных сетей явно ещё не достигнут.