Сноски и отказ от ответственности
Тестирование проведено AMD по состоянию на сентябрь 2026 года
ZD-070: вывод BERT-Base Uncased, zentorch FP32 против ONNX Runtime FP32, на AMD EPYC™ 9654 (96 ядер, 1 сокет, SMT включен, NPS4); ZenDNN 6.0, zentorch 2.13.0.0, ONNX Runtime 1.17.0; Hugging Face BERT-Base Uncased; длина последовательности 32/64/128; 1, 2, 4, 6 экземпляров на 8 и 16 ядрах; физические ядра; медиана 10 запусков. Средний показатель для одного экземпляра 11,4%; средний показатель для нескольких экземпляров 9,0%; средний показатель для всех конфигураций 9,7%; пик 29,5% при 1 экземпляре, длина последовательности 64, 16 ядер. zentorch лидирует в 14 случаях, наравне в 4, отстает в 3 из 21. Прирост задержки для каждой рабочей нагрузки по сравнению с ONNX Runtime (чем выше, тем лучше; instances=1 — один экземпляр, 2/4/6 — несколько экземпляров): экземпляры длина_последовательности ядра прирост_задержки% 1 32 8 -1,9% 1 32 16 -1,1% 1 64 8 +8,6% 1 64 16 +29,5% 1 128 8 +7,0% 1 128 16 +26,1% 2 32 8 -3,0% 2 32 16 +1,6% 2 64 8 +7,9% 2 64 16 +28,9% 2 128 8 +6,5% 2 128 16 +26,4% 4 32 8 -6,6% 4 32 16 +1,7% 4 64 8 +6,0% 4 64 16 +27,6% 4 128 8 +6,0% 4 128 16 +25,2% 6 32 8 -5,9% 6 64 8 +6,3% 6 128 8 +6,6% Результаты могут варьироваться в зависимости от таких факторов, как конфигурация системы, версии программного обеспечения и настройки BIOS.
ZD-071: вывод BERT-Base Uncased, zentorch BF16 против ONNX Runtime FP32, на AMD EPYC™ 9654 (96 ядер, 1 сокет, SMT включен, NPS4); ZenDNN 6.0, zentorch 2.13.0.0, ONNX Runtime 1.17.0; Hugging Face BERT-Base Uncased; длина последовательности 32/64/128; 1, 2, 4, 6 экземпляров на 8 и 16 ядрах; физические ядра; медиана 10 запусков. Средний показатель для одного экземпляра 47,5%; средний показатель для нескольких экземпляров 47,2%; средний показатель для всех конфигураций 47,3%; пик 58,1% при 4 экземплярах, длина последовательности 128, 16 ядер. zentorch лидирует в 21 случае, наравне в 0, отстает в 0 из 21. Прирост задержки для каждой рабочей нагрузки по сравнению с ONNX Runtime (чем выше, тем лучше; instances=1 — один экземпляр, 2/4/6 — несколько экземпляров): экземпляры длина_последовательности ядра прирост_задержки% 1 32 8 +35,9% 1 32 16 +41,1% 1 64 8 +46,0% 1 64 16 +57,2% 1 128 8 +47,7% 1 128 16 +57,3% 2 32 8 +35,9% 2 32 16 +43,3% 2 64 8 +46,1% 2 64 16 +57,1% 2 128 8 +47,8% 2 128 16 +57,7% 4 32 8 +36,7% 4 32 16 +44,7% 4 64 8 +45,4% 4 64 16 +57,2% 4 128 8 +47,7% 4 128 16 +58,1% 6 32 8 +37,0% 6 64 8 +45,6% 6 128 8 +47,8% Результаты могут варьироваться в зависимости от таких факторов, как конфигурация системы, версии программного обеспечения и настройки BIOS.
ZD-072: вывод BERT-Base Uncased, zentorch FP32 против ONNX Runtime FP32, на AMD EPYC™ 9V74 (80 ядер, 1 сокет, SMT включен, NPS5, Hyper-V VM); ZenDNN 6.0, zentorch 2.13.0.0, ONNX Runtime 1.17.0; Hugging Face BERT-Base Uncased; длина последовательности 32/64/128; 1, 2, 4, 6 экземпляров на 8 и 16 ядрах; физические ядра; медиана 10 запусков. Средний показатель для одного экземпляра 11,1%; средний показатель для нескольких экземпляров 8,3%; средний показатель для всех конфигураций 9,1%; пик 31,2% при 1 экземпляре, длина последовательности 64, 16 ядер. zentorch лидирует в 14 случаях, наравне в 3, отстает в 4 из 21. Прирост задержки для каждой рабочей нагрузки по сравнению с ONNX Runtime (чем выше, тем лучше; instances=1 — один экземпляр, 2/4/6 — несколько экземпляров): экземпляры длина_последовательности ядра прирост_задержки% 1 32 8 -4,2% 1 32 16 +1,3% 1 64 8 +7,2% 1 64 16 +31,2% 1 128 8 +5,8% 1 128 16 +25,1% 2 32 8 -4,6% 2 32 16 +1,0% 2 64 8 +6,8% 2 64 16 +30,7% 2 128 8 +5,7% 2 128 16 +25,0% 4 32 8 -4,6% 4 32 16 -0,6% 4 64 8 +6,7% 4 64 16 +25,4% 4 128 8 +5,5% 4 128 16 +20,4% 6 32 8 -4,8% 6 64 8 +5,4% 6 128 8 +5,8% Результаты могут варьироваться в зависимости от таких факторов, как конфигурация системы, версии программного обеспечения и настройки BIOS.
ZD-073: вывод BERT-Base Uncased, zentorch BF16 против ONNX Runtime FP32, на AMD EPYC™ 9V74 (80 ядер, 1 сокет, SMT включен, NPS5, Hyper-V VM); ZenDNN 6.0, zentorch 2.13.0.0, ONNX Runtime 1.17.0; Hugging Face BERT-Base Uncased; длина последовательности 32/64/128; 1, 2, 4, 6 экземпляров на 8 и 16 ядрах; физические ядра; медиана 10 запусков. Средний показатель для одного экземпляра 47,0%; средний показатель для нескольких экземпляров 45,7%; средний показатель для всех конфигураций 46,1%; пик 58,1% при 1 экземпляре, длина последовательности 64, 16 ядер. zentorch лидирует в 21 случае, наравне в 0, отстает в 0 из 21. Прирост задержки для каждой рабочей нагрузки по сравнению с ONNX Runtime (чем выше, тем лучше; instances=1 — один экземпляр, 2/4/6 — несколько экземпляров): экземпляры длина_последовательности ядра прирост_задержки% 1 32 8 +34,2% 1 32 16 +40,3% 1 64 8 +45,1% 1 64 16 +58,1% 1 128 8 +47,3% 1 128 16 +57,1% 2 32 8 +33,8% 2 32 16 +39,5% 2 64 8 +44,9% 2 64 16 +57,5% 2 128 8 +47,2% 2 128 16 +57,0% 4 32 8 +34,0% 4 32 16 +39,8% 4 64 8 +44,7% 4 64 16 +56,1% 4 128 8 +47,1% 4 128 16 +56,1% 6 32 8 +34,0% 6 64 8 +45,5% 6 128 8 +48,6% Результаты могут варьироваться в зависимости от таких факторов, как конфигурация системы, версии программного обеспечения и настройки BIOS.
ZD-074: вывод BERT-Base Uncased на AMD EPYC™ 9654 (96 ядер, 1 сокет, SMT включен, NPS4); ZenDNN 6.0, zentorch 2.13.0.0, ONNX Runtime 1.17.0; Hugging Face BERT-Base Uncased; длина последовательности 32/64/128; 1, 2, 4, 6 экземпляров на 8 и 16 ядрах; физические ядра; медиана 10 запусков. По 42 конфигурациям (FP32 21 + BF16 против ONNX FP32 21), zentorch выигрывает в 35 (83%), наравне в 4 (10%), проигрывает в 3 (7%). Прирост задержки для каждой рабочей нагрузки по сравнению с ONNX Runtime (чем выше, тем лучше): экземпляры длина_последовательности ядра прирост_FP32% прирост_BF16% 1 32 8 -1,9% +35,9% 1 32 16 -1,1% +41,1% 1 64 8 +8,6% +46,0% 1 64 16 +29,5% +57,2% 1 128 8 +7,0% +47,7% 1 128 16 +26,1% +57,3% 2 32 8 -3,0% +35,9% 2 32 16 +1,6% +43,3% 2 64 8 +7,9% +46,1% 2 64 16 +28,9% +57,1% 2 128 8 +6,5% +47,8% 2 128 16 +26,4% +57,7% 4 32 8 -6,6% +36,7% 4 32 16 +1,7% +44,7% 4 64 8 +6,0% +45,4% 4 64 16 +27,6% +57,2% 4 128 8 +6,0% +47,7% 4 128 16 +25,2% +58,1% 6 32 8 -5,9% +37,0% 6 64 8 +6,3% +45,6% 6 128 8 +6,6% +47,8% Результаты могут варьироваться в зависимости от таких факторов, как конфигурация системы, версии программного обеспечения и настройки BIOS.
ZD-075: вывод BERT-Base Uncased на AMD EPYC™ 9V74 (80 ядер, 1 сокет, SMT включен, NPS5, Hyper-V VM); ZenDNN 6.0, zentorch 2.13.0.0, ONNX Runtime 1.17.0; Hugging Face BERT-Base Uncased; длина последовательности 32/64/128; 1, 2, 4, 6 экземпляров на 8 и 16 ядрах; физические ядра; медиана 10 запусков. По 42 конфигурациям (FP32 21 + BF16 против ONNX FP32 21), zentorch выигрывает в 35 (83%), наравне в 3 (7%), проигрывает в 4 (10%). Прирост задержки для каждой рабочей нагрузки по сравнению с ONNX Runtime (чем выше, тем лучше): экземпляры длина_последовательности ядра прирост_FP32% прирост_BF16% 1 32 8 -4,2% +34,2% 1 32 16 +1,3% +40,3% 1 64 8 +7,2% +45,1% 1 64 16 +31,2% +58,1% 1 128 8 +5,8% +47,3% 1 128 16 +25,1% +57,1% 2 32 8 -4,6% +33,8% 2 32 16 +1,0% +39,5% 2 64 8 +6,8% +44,9% 2 64 16 +30,7% +57,5% 2 128 8 +5,7% +47,2% 2 128 16 +25,0% +57,0% 4 32 8 -4,6% +34,0% 4 32 16 -0,6% +39,8% 4 64 8 +6,7% +44,7% 4 64 16 +25,4% +56,1% 4 128 8 +5,5% +47,1% 4 128 16 +20,4% +56,1% 6 32 8 -4,8% +34,0% 6 64 8 +5,4% +45,5% 6 128 8 +5,8% +48,6% Результаты могут варьироваться в зависимости от таких факторов, как конфигурация системы, версии программного обеспечения и настройки BIOS.
