Эра быстрых ответов: Llama 3.1 на платформе Intel

Meta* представила новую версию своей языковой модели Llama 3.1, а Intel объявила о полной поддержке этих моделей на всех своих продуктах, включая Gaudi, Xeon, Arc и Core. Обновленные процессоры и графические карты Intel теперь обеспечивают улучшенную производительность при использовании моделей Llama 3.1, предлагая высокую скорость и эффективность.

Llama 3.1 от Meta включает многоязычные модели, которые предварительно обучены и настроены для выполнения различных задач. Самая крупная модель, размером 405 миллиардов параметров, обладает передовыми возможностями в области общей осведомленности, математики, использования инструментов и многоязычного перевода. Модели меньшего размера, такие как 70 миллиардов и 8 миллиардов параметров, предлагают высокую производительность и быструю реакцию.

Intel протестировала модель Llama 3.1 405B на своих ускорителях Gaudi, которые показали быстрый отклик и высокую пропускную способность при различных длинах токенов. Ускорители Gaudi 2 продемонстрировали еще более высокую производительность на модели 70B с длинами токенов 32k и 128k. Процессоры Intel 5-го поколения Xeon Scalable также показали отличные результаты, поддерживая низкую задержку при длинах токенов 1K, 2K и 8K благодаря расширениям Intel AMX для улучшенной производительности ИИ.

Модель Llama 3.1 8B также показала высокую скорость вывода на процессорах Intel Core Ultra при тестировании на модели 8B-Instruct с 4-битными весами. На процессоре Core Ultra 7 165H с встроенной графикой Arc задержка токенов оставалась в пределах 50-60 мс при различных длинах токенов. На отдельной графической карте Arc A770 16GB Limited Edition задержка была еще ниже, оставаясь около 15 мс при всех четырех различных длинах токенов.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.