ИИ-агенты делают гораздо больше, чем просто генерируют ответы. Они ищут информацию, делают запросы к базам данных, пишут и тестируют код, а также выполняют действия.
Каждый из этих шагов зависит от центрального процессора, при этом в ходе выполнения задачи агенты переключаются между рассуждениями на GPU и вычислениями на CPU.
По мере того как компании задействуют все больше агентов, ИИ-фабрикам требуются процессоры, способные быстро выполнять эти шаги и поддерживать множество агентов одновременно, оставаясь в пределах доступных лимитов энергопотребления.
Что это значит: провайдерам ИИ-инфраструктуры необходимо поддерживать больше агентов, не заставляя каждого из них дольше ждать выполнения работы. И что критически важно, ИИ-фабрики имеют ограничения по мощности. Это значит, что операторам необходимо выбирать инфраструктуру, которая максимизирует объем выполненной работы на каждый ватт.
Почему это важно: NVIDIA Vera обеспечивает как высокую скорость работы агентов, так и высокую плотность производительности на ватт в рамках одного CPU. Это дает провайдерам единый процессор для широкого спектра агентских рабочих нагрузок, избавляя от необходимости комбинировать быстрые и плотные x86-компоненты для балансировки скорости и емкости.
Данные, которые это доказывают: в ходе сравнения дата-центров мощностью 100 мегаватт специалисты NVIDIA выяснили, что один процессор Vera превосходит по производительности как самый быстрый x86-процессор, так и самый энергоэффективный x86-процессор.
- Vera обеспечивает лидирующую в отрасли скорость работы агентов, позволяя обслуживать в 1.6 раза больше агентов на ватт по сравнению с самым быстрым x86-процессором.
- Vera обеспечивает в 2 раза большую скорость работы агентов при ведущей энергоэффективности по сравнению с наиболее энергоэффективным x86-процессором.
Партнеры уже задействуют Vera в работе. Первые пользователи отмечают столь же исключительную производительность в тестах, приближенных к реальным условиям эксплуатации:
- Perplexity: Запустил задачи агентского кодирования в 1.5 раза быстрее на Vera, чем на традиционных CPU. Perplexity планирует развернуть Vera в своей будущей производственной системе.
- DeepInfra: Обеспечил до 2.2x скорости лучшего x86-процессора при агентской оркестровке для своей рабочей нагрузки производственных агентов, показав лучший результат среди четырех протестированных архитектур.
- ClickHouse: Его стандартный бинарный файл без специальной оптимизации под Vera масштабировался практически линейно по всем 176 ядрам и возглавил таблицу лидеров оборудования ClickBench.
- DuckLabs: Достиг примерно 1.5x от медианной производительности TPC-H SF1000 по сравнению с базовым процессором Intel Xeon 6.
- Daytona: Запустил 1000 изолированных сред (песочниц) для агентов за 10.8 секунды и достиг 12.7 завершенных заданий в секунду при 2000 одновременных песочницах с использованием Vera по сравнению с 88.4 секундами на x86.
- Modal: Обеспечил до 2x пропускной способности песочниц на ядро по сравнению с сопоставимым x86-оборудованием, причем прирост увеличивается при высокой нагрузке.
Узнайте больше о процессоре NVIDIA Vera CPU.
