Новый стандарт NVIDIA: суперчип GH200 Grace Hopper переопределяет границы возможностей ИИ

В своем дебюте на промышленных тестах MLPerf, суперчип NVIDIA GH200 Grace Hopper не только прошел все испытания на инференцию в дата-центрах, но и усилил лидирующую позицию GPU NVIDIA H100 Tensor Core.

GH200 сочетает в себе GPU Hopper и CPU Grace в одном суперчипе. Такое сочетание обеспечивает больше памяти, пропускной способности и возможность автоматически перераспределять мощность между центральным и графическим процессорами для оптимизации производительности.

Отдельно стоит отметить, что системы NVIDIA HGX H100 с восемью GPU H100 показали наивысший результат по пропускной способности в каждом тесте MLPerf Inference.

Grace Hopper Superchips и H100 GPUs лидировали во всех тестах дата-центров MLPerf, включая инференс-задачи для компьютерного зрения, распознавания речи и медицинской визуализации, а также в более требовательных задачах, таких как системы рекомендаций и большие языковые модели (LLM), используемые в генеративном ИИ.

TensorRT-LLM ускоряет инференцию

Для обработки сложных задач любого размера NVIDIA разработала TensorRT-LLM , программное обеспечение для генеративного ИИ, оптимизирующее инференцию. Эта открытая библиотека позволяет клиентам удваивать производительность инференции на уже приобретенных GPU H100 без дополнительных затрат.

Внутренние тесты NVIDIA показали, что использование TensorRT-LLM на GPU H100 обеспечивает увеличение производительности до 8 раз по сравнению с предыдущим поколением GPU, работающим на GPT-J 6B без TensorRT-LLM.

Кроме того, в последних тестах MLPerf графические процессоры NVIDIA L4 успешно справились со всем спектром задач и показали отличную производительность.

Также NVIDIA применила новую технологию сжатия моделей, чтобы продемонстрировать увеличение производительности до 4,7 раз при работе с BERT LLM на GPU L4.

Тесты MLPerf являются прозрачными и объективными, что позволяет пользователям принимать обоснованные решения о покупке. В этом раунде участвовали такие партнеры, как Microsoft Azure, Oracle Cloud Infrastructure и производители систем ASUS, Dell Technologies, Fujitsu и другие. Все программное обеспечение, используемое в тестах NVIDIA, доступно в репозитории MLPerf, что позволяет каждому достичь мирового класса результатов.