Введение
Компания AMD недавно объявила о выходе на рынок серверных процессоров AMD EPYC™ 6-го поколения (кодовое название «Venice»), построенных на новой архитектуре «Zen 6». Новый процессор эффективен лишь настолько, насколько эффективно работающее на нем программное обеспечение, поэтому в AOCL 6.0.0 мы настроили наши библиотеки для этих процессоров, чтобы ваши приложения могли более эффективно использовать аппаратное обеспечение.
Библиотеки AMD Optimizing CPU Libraries (AOCL) 6.0.0 включают оптимизации для Venice в области численных вычислений, операций с памятью, вывода ИИ, анализа данных, сжатия и инфраструктуры выполнения. В этой статье мы расскажем, где именно эти изменения привели к заметным результатам в ходе раннего тестирования.
Ниже представлен краткий обзор основных улучшений в области вывода ИИ, математических библиотек, операций с памятью и анализа данных. Прирост производительности зависит от рабочей нагрузки, и мы подробнее рассмотрим каждую область в следующих разделах.
Раннее тестирование показывает следующие улучшения по сравнению с AOCL 5.3:
- Увеличение производительности INT8 GEMM на ядро до 1,84 раза для вывода ИИ
- Повышение производительности до 1,5 раз для отдельных математических функций
- Примерно 15% улучшения в операциях, интенсивно использующих память
- Примерно 1,3-кратное увеличение производительности аналитики на ядро
- Ускорение до 4 раз для отдельных рабочих нагрузок аналитики ближайших соседей
Если не указано иное, улучшения в этой статье сравнивают AOCL 6.0.0 с предыдущим выпуском, AOCL 5.3, с использованием репрезентативных рабочих нагрузок и конфигураций тестов.
Поддержка Venice в AOCL 6.0.0
В AOCL 6.0.0 мы добавили оптимизации для Venice в отдельные подпрограммы и рабочие нагрузки, и планируем расширить их в будущих выпусках.
Производительность зависит от того, насколько эффективно программное обеспечение использует ядра, кэш-память, пропускную способность памяти и векторные блоки. Для этого выпуска мы сосредоточились на областях, где наше тестирование показало наибольший потенциал для улучшения: вывод ИИ, численные вычисления, операции с интенсивным использованием памяти и анализ данных.
По мере сбора новых шаблонов рабочих нагрузок и данных тестирования мы будем расширять оптимизации для Venice на другие библиотеки.
Вывод ИИ (AOCL-DLP)
Все больше рекомендательных систем, конвейеров поиска, моделей ранжирования и корпоративных ИИ-сервисов выполняют вывод на процессорах. AOCL-DLP предоставляет оптимизированные примитивы вычислений низкой точности для этих рабочих нагрузок.
В AOCL 6.0.0 библиотека AOCL-DLP улучшает отдельные пути вычислений INT8 и FP16 на Venice, с дальнейшими оптимизациями, запланированными для будущих выпусков.
Вот как выглядит сравнение ускорения INT8 GEMM на ядро по сравнению с серверными процессорами AMD EPYC™ 5-го поколения (кодовое название «Turin»):
Конфигурация
Ускорение INT8 GEMM (на ядро)
Только оборудование Venice
1,4x–1,7x
Venice с оптимизациями AOCL 6.0.0
1,6x–1,84x
Программные оптимизации AOCL добавляют еще 12% к приросту производительности оборудования на каждое ядро. Результатом является более высокая пропускная способность вывода при сохранении модели развертывания, которую уже предлагают процессоры.
Операции с памятью (AOCL-LibMem)
Многие приложения тратят столько же времени на перемещение данных, сколько и на вычисления. Базы данных, аналитические платформы, ИИ-фреймворки, системы хранения данных и облачные сервисы полагаются на быстрые операции с памятью.
AOCL-LibMem 6.0.0 улучшает ключевые операции с памятью и добавляет настройку для процессоров AMD EPYC Venice. Тестирование также включало рабочие нагрузки из DCPerf, набора тестов с открытым исходным кодом от Meta. Вот как это выглядит:
Рабочая нагрузка
Улучшение
Геометрическое среднее производительности памяти
~15%
Hot-cache memcpy
До 30%
Операции memset
До 20%
Рабочие нагрузки DCPerf с тензорами
6-7%
Многие приложения активно используют memcpy и memset, поэтому даже такие улучшения могут привести к повышению общей производительности.
HPC и научные вычисления
Рабочие нагрузки HPC сильно зависят от плотной линейной алгебры и математических функций. Библиотека AOCL-BLAS предоставляет ядра плотных матриц, такие как DGEMM, от которых зависят многие из этих приложений.
В AOCL 6.0.0 мы улучшили AOCL-BLAS DGEMM вместе с отдельными математическими подпрограммами, которые часто влияют на общую производительность приложений.
Вот что показало раннее тестирование:
- Эффективность AOCL-BLAS DGEMM улучшилась с 95,5% до 97,3%
- Улучшение производительности HPL до 3%
- Математические подпрограммы обеспечивают среднее повышение производительности в 1,25 раза
- Ускорение до 1,5 раз для отдельных функций
Существующие приложения могут получить эти преимущества без внесения изменений в исходный код.
Анализ данных (AOCL-DA)
Аналитические рабочие нагрузки обрабатывают большие наборы данных и питают рекомендательные системы и рабочие процессы машинного обучения. Библиотека AOCL Data Analytics (AOCL-DA) предоставляет оптимизированные алгоритмы для этих рабочих нагрузок, а выпуск 6.0.0 добавляет новые API и настройку для Zen 6.
Что нового в AOCL-DA 6.0.0:
- Новые API для неотрицательной матричной факторизации, ядерного PCA и t-SNE
- Скалярное квантование для ANN с патчем FAISS для легкого доступа к оптимизированным алгоритмам ANN
- Патч SciPy для оптимизированной базовой статистики, интерполяции и нелинейных наименьших квадратов
- Более быстрые линейные модели, SVM, ANN, деревья решений и метрики
- Кодовые пути, оптимизированные для Zen 6, включая внутреннее использование половинной точности
На системах Venice мы наблюдали повышение производительности на ядро примерно в 1,3 раза, а отдельные рабочие нагрузки ANN выполнялись до 4 раз быстрее. В совокупности эти изменения означают сокращение времени выполнения аналитических задач на больших наборах данных.
Хотите практический пример? Техническая статья AMD «Рабочие нагрузки Scikit с AOCL Data Analytics» показывает, как AOCL-DA может повысить производительность для распространенных конвейеров машинного обучения и аналитики, использующих Scikit-Learn.
Другие изменения в AOCL 6.0.0
В этой статье рассматриваются отдельные изменения, связанные с Venice, но AOCL 6.0.0 включает больше: обновления в области численных вычислений, ИИ, аналитики, сжатия, оптимизации памяти, генерации случайных чисел и инфраструктуры разработчика.
Новая библиотека: AOCL-OpenRNG
AOCL 6.0.0 представляет AOCL-OpenRNG, новую библиотеку генерации случайных чисел с открытым исходным кодом для моделирования, финансового прогнозирования, научных вычислений, ИИ и аналитических рабочих нагрузок. Она дополняет AOCL-RNG, основана на реализации OpenRNG от Arm и остается совместимой с процессорами Arm. Ее API, совместимые с Vector Statistical Library (VSL), облегчают миграцию для приложений, уже использующих этот интерфейс, а реализация с открытым исходным кодом позволяет интегрировать ее в программное обеспечение с открытым кодом.
AOCL-OpenRNG также включает специфические для AMD улучшения производительности, оптимизации с учетом архитектуры и современную инфраструктуру сборки, и мы разрабатываем ее с учетом отзывов сообщества. Вы можете выбирать между AOCL-RNG и AOCL-OpenRNG в зависимости от ваших требований к развертыванию, переносимости и открытому исходному коду.
Другие библиотеки, получившие обновления в этом выпуске:
- AOCL-LibM с улучшенной производительностью математических подпрограмм и расширенной поддержкой новых архитектур AMD. AOCL-LibM также используется компилятором AOCC, поэтому эти улучшения переносятся на скомпилированные приложения, включая рабочие нагрузки SPEC CPU® 2026, которые вызывают функции математических библиотек.
- AOCL-BLAS и LAPACK, обеспечивающие постоянные улучшения для научных вычислений и численных приложений.
- AOCL-Compression, включая улучшения, обусловленные современными рабочими нагрузками по обработке данных и облачными вычислениями.
- AOCL-FFTZ с постоянными улучшениями производительности и удобства использования для рабочих нагрузок FFT.
Взгляд в будущее
С выходом AOCL 6.0.0 приложения могут более эффективно использовать серверные процессоры AMD EPYC™ 6-го поколения для задач искусственного интеллекта, научных вычислений, аналитики и корпоративных нагрузок.
Оптимизации учитывают особенности архитектуры, а интерфейсы API остаются привычными, поэтому внедрение не вызывает затруднений.
Мы продолжим добавлять оптимизации с учетом архитектуры по мере развития платформ Venice. В следующих технических блогах мы подробно рассмотрим изменения в отдельных библиотеках, методы оптимизации и результаты для конкретных типов нагрузок в AOCL 6.0.0.
Готовы попробовать? Ознакомьтесь с AOCL 6.0.0 на портале для разработчиков AOCL и следите за подробными материалами от нашей инженерной команды.











