- Мои инструменты
- Недавнее
Недавнее
Что нового: В последних результатах тестирования MLPerf Inference v6.1 от MLCommons компания Intel подчеркнула прирост производительности ИИ-инференса, достигнутый за счет программной оптимизации на процессорах Intel Xeon 6 и графических процессорах Intel Arc Pro серии B. Результаты также отражают растущее участие клиентов и партнеров: все больше систем проходят валидацию на платформах Intel для широкого спектра моделей, рабочих нагрузок и сценариев развертывания.
На том же оборудовании и при том же количестве сокетов, что использовались в MLPerf v6.0, процессоры Intel Xeon 6980P обеспечили 2,4-кратный прирост пропускной способности в серверном сценарии для модели Llama 3.1 8B и увеличение на 56% в автономном (Offline) сценарии¹. Эти показатели были достигнуты исключительно за счет программных улучшений, что демонстрирует, как непрерывная оптимизация позволяет извлечь больше производительности из оборудования, которое клиенты уже используют. Партнеры Intel продемонстрировали аналогичную динамику.
Почему это важно: По мере перехода ИИ-инференса в стадию промышленной эксплуатации клиентам требуются платформы, способные поддерживать более крупные и разнообразные модели, обеспечивая при этом рост производительности, гибкость и ценность с течением времени. Результаты Intel в MLPerf Inference v6.1 доказывают, что программная оптимизация может продлить срок эффективной эксплуатации развернутой инфраструктуры, помогая клиентам получать больше от уже используемых систем при масштабировании вычислительных мощностей CPU и GPU.
Участие клиентов и партнеров на платформах Intel также выросло: с 29 результатов в версии v6.0 до 39 в v6.1, что расширяет стороннюю валидацию за пределы собственных заявок Intel². Oracle представила свою первую заявку на базе Intel; Red Hat впервые предоставила результаты инференса на базе процессоров Xeon, а компании Quanta Cloud Technology и Supermicro впервые представили партнерские заявки с использованием Intel Arc Pro B70.
О результатах Intel Xeon 6: Intel расширила свое участие в тестировании Xeon в рамках MLPerf v6.1 с двух моделей Xeon 6 в версии v6.0 до пяти, увеличив количество результатов инференса на CPU с 24 до 35. Intel Xeon остается единственным серверным процессором общего назначения, представленным в заявках MLPerf Inference.
О результатах Intel Arc Pro B70: Заявки с использованием Intel Arc Pro B70 демонстрируют, как программные улучшения могут повысить производительность для широкого спектра ИИ-моделей. Один узел, оснащенный четырьмя графическими процессорами Intel Arc Pro B70, предоставляет 128 ГБ видеопамяти и поддерживает работу с моделями Llama 3.1 8B, Llama 2 70B, gpt-oss-120B, Whisper, а также сквозную генерацию с дополнением извлеченными данными (E2E-RAG). На той же системе с четырьмя GPU, что использовалась в v6.0, производительность в серверном сценарии для gpt-oss-120B выросла на 36%, а в автономном — на 27%, что отражает продолжающееся развитие программного стека Intel³.
О новом бенчмарке E2E-RAG: Intel также выступила соразработчиком и представила результаты для нового бенчмарка MLPerf Inference v6.1 — сквозной генерации с дополнением извлеченными данными (E2E-RAG), одной из самых сложных новых рабочих нагрузок в этом раунде. В ходе единого замера на системе, объединяющей процессор Intel Xeon 6787P и четыре графических процессора Intel Arc Pro B70, рабочая нагрузка была распределена между CPU и GPU, где каждый компонент отвечал за разные этапы ИИ-конвейера: Xeon выполнял эмбеддинг, переранжирование, векторный поиск и работу с малой языковой моделью (SLM), в то время как GPU Arc Pro B70 отвечали за генерацию большой языковой модели (LLM). Результат демонстрирует, как оптимизированные вычислительные мощности CPU и GPU могут эффективно работать вместе в рамках комплексного ИИ-процесса.
Постоянная работа Intel по оптимизации выходит за рамки результатов бенчмарков. Улучшения для Xeon внедряются в широко используемые ИИ-фреймворки, чтобы клиенты могли воспользоваться преимуществами программных достижений на уже развернутой инфраструктуре, в то время как оптимизация Intel Arc Pro B70 помогает совершенствовать ядра, фреймворки и стек обслуживания для будущих графических продуктов Intel.
Дополнительная информация: Результаты MLPerf Inference v6.1
Уведомления и отказ от ответственности
Производительность зависит от использования, конфигурации и других факторов. Узнайте больше на сайте www.Intel.com/PerformanceIndex.
Результаты производительности основаны на тестировании на указанные даты в соответствующих конфигурациях и могут не отражать все общедоступные обновления. Посетите сайт MLCommons для получения подробной информации. Ни один продукт или компонент не может быть абсолютно защищен.
¹ На основе результатов MLPerf Inference v6.1 (ID: mint-lark-1a28) и MLPerf Inference v6.0 (ID: 6.0-0057), представленных Intel. Конфигурация: 1 узел, 2 процессора Intel® Xeon® 6980P (128 ядер), 24 модуля DDR5 MRDIMM 96 ГБ 8800 МТ/с (всего 2304 ГБ), без дискретного ускорителя. Серверный сценарий: 1139,51 против 471,54 токенов/с (2,4x). Автономный сценарий: 1916,74 против 1229,56 токенов/с (1,56x). Результаты могут не отражать все общедоступные обновления. Название и логотип MLPerf являются товарными знаками MLCommons. Дополнительную информацию см. на сайте mlcommons.org.
² На основе результатов закрытого дивизиона MLPerf Inference v6.1 и v6.0, опубликованных на mlcommons.org. «Платформы Intel» определяются как заявки, использующие процессоры Intel® Xeon® в качестве основного вычислительного ресурса (инференс только на CPU) или графические процессоры Intel® Arc™ Pro в качестве ускорителя. Количество партнеров/клиентов не включает собственные заявки Intel. Название и логотип MLPerf являются товарными знаками MLCommons. Дополнительную информацию см. на сайте mlcommons.org.
³ На основе результатов закрытого дивизиона MLPerf Inference v6.1 и MLPerf Inference v6.0 (ID: 6.0-0101), представленных Intel. Конфигурация: 1 узел, 1 процессор Intel® Xeon® 698X (86 ядер), 4 графических процессора Intel® Arc™ Pro B70 (по 32 ГБ GDDR6, PCIe Gen5 x16), 8 модулей DDR5 16 ГБ 6400 МТ/с (всего 128 ГБ). gpt-oss-120B Server: 1296,87 против 951,67 токенов/с (+36%). gpt-oss-120B Offline: 1956,40 против 1536,90 токенов/с (+27%). Программное обеспечение: PyTorch vLLM на Ubuntu 24.04. Результаты могут не отражать все общедоступные обновления. Название и логотип MLPerf являются товарными знаками MLCommons. Дополнительную информацию см. на сайте mlcommons.org.
Сравнение производительности между MLPerf Inference v6.0 и v6.1 основано на сопоставимых конфигурациях с использованием одного и того же оборудования процессора или GPU, а также одинакового количества сокетов или GPU, где это применимо. Полные конфигурации систем и подробности бенчмарков см. в результатах MLCommons и документации по производительности Intel.
Ваши затраты и результаты могут отличаться.
Технологии Intel могут потребовать активации соответствующего оборудования, программного обеспечения или услуг.
