Мы рады объявить, что Groq станет одним из первых пользователей NVIDIA Groq 3 LPX, что повысит скорость генерации токенов инференса для NVIDIA Vera Rubin NVL72, развертывание которой компания осуществит в своем специализированном облаке ИИ-инференса. Groq сотрудничает с Dell Technologies для развертывания NVIDIA Groq 3 LPX.
Для Groq это знаменует собой следующую главу в развитии облака ИИ-инференса компании, расширяя его с помощью NVIDIA Groq 3 LPX и Vera Rubin NVL72 для предоставления разработчикам и предприятиям по всему миру эффективных возможностей ИИ масштабного уровня.
Выдающаяся производительность
Впечатляющие показатели производительности, опубликованные NVIDIA сегодня, являются самым убедительным подтверждением платформы Vera Rubin на данный момент. NVIDIA Groq 3 LPX расширяет возможности инференса Vera Rubin NVL72 за счет резкого увеличения скорости генерации токенов, обеспечивая превосходный пользовательский опыт для контекстно-зависимых рабочих нагрузок, чтобы агенты могли быстрее создавать ценность.
Основные моменты включают:
- Самая высокая производительность: 3 400 выходных токенов в секунду при работе с Gemma 4 31B с контекстом 100K токенов (модель с открытым исходным кодом для агентных задач) в бенчмарке Artificial Analysis.
- Агентные задачи, такие как написание кода, выполняются за минуты вместо часов.
- В 4 раза более высокая интерактивность для чувствительных к задержкам агентных рабочих нагрузок ИИ по сравнению с ближайшей альтернативной платформой.
Что это означает для клиентов Groq
Groq — единственная команда с практическим опытом эксплуатации LPU в рабочей среде в масштабном режиме. Более шести миллионов разработчиков, компаний из списка Fortune 500 и тысяч ИИ-компаний создают решения на базе GroqCloud, генерируя триллионы токенов каждую неделю в дата-центрах в Северной Америке, Европе, на Ближнем Востоке и в Азиатско-Тихоокеанском регионе. В августе Groq стала партнером облачных решений NVIDIA для проектирования, развертывания и эксплуатации ускоренных вычислений в соответствии с собственной эталонной архитектурой и операционными стандартами NVIDIA.
В сочетании с интегрированной инфраструктурой Dell Technologies и возможностями глобальной цепочки поставок глобальная платформа, API и корпоративные сервисы Groq доставят это поколение инфраструктуры инференса напрямую клиентам.
Когда Groq введет в эксплуатацию мощности NVIDIA Groq 3 LPX, они поступят на инфраструктуру, уже оптимизированную для высоконагруженных рабочих задач инференса. Для предприятий и ИИ-компаний, создающих агентов нового поколения, Groq предоставит один из самых ранних путей для запуска NVIDIA Groq 3 LPX на реальных рабочих нагрузках.
«Мы гордимся тем, что первыми выводим на рынок NVIDIA Groq 3 LPX, предоставляя клиентам доступ к новому классу интерактивных ускорителей ИИ-инференса», — сказал Синклер Шуллер (Sinclair Schuller), технический директор Groq. «Наши клиенты ожидают, что Groq будет находиться на переднем крае производительности ИИ, и эта платформа представляет собой значительный шаг вперед для рабочих нагрузок нового поколения. Вместе с Dell Technologies мы рады развернуть NVIDIA Groq 3 LPX и Vera Rubin NVL72 в широких масштабах и сделать эту возможность широко доступной».
«Мы гордимся тем, что первыми выводим на рынок NVIDIA Groq 3 LPX, предоставляя клиентам доступ к новому классу интерактивных ускорителей ИИ-инференса», — сказал Синклер Шуллер (Sinclair Schuller), технический директор Groq. «Наши клиенты ожидают, что Groq будет находиться на переднем крае производительности ИИ, и эта платформа представляет собой значительный шаг вперед для рабочих нагрузок нового поколения. Вместе с Dell Technologies мы рады развернуть NVIDIA Groq 3 LPX и Vera Rubin NVL72 в широких масштабах и сделать эту возможность широко доступной».
«Агентный ИИ требует больше токенов, большей отзывчивости и масштабируемой экономики с низкими затратами», — сказал Дион Харрис (Dion Harris), старший директор по высокопроизводительным вычислениям и решениям для фабрик ИИ в NVIDIA. «NVIDIA Vera Rubin и Groq 3 LPX специально созданы для обеспечения низкой задержки и высокой пропускной способности, которых требуют эти рабочие нагрузки. Глубокий опыт Groq в эксплуатации LPU через свое глобальное облако ИИ-инференса позволит внедрить интерактивный ИИ-инференс для разработчиков, создающих приложения следующего поколения на основе агентов».
«Агентный ИИ требует больше токенов, большей отзывчивости и масштабируемой экономики с низкими затратами», — сказал Дион Харрис (Dion Harris), старший директор по высокопроизводительным вычислениям и решениям для фабрик ИИ в NVIDIA. «NVIDIA Vera Rubin и Groq 3 LPX специально созданы для обеспечения низкой задержки и высокой пропускной способности, которых требуют эти рабочие нагрузки. Глубокий опыт Groq в эксплуатации LPU через свое глобальное облако ИИ-инференса позволит внедрить интерактивный ИИ-инференс для разработчиков, создающих приложения следующего поколения на основе агентов».
«Облако инференса Groq требует инфраструктуры, созданной для скорости и масштаба, и именно это предлагает Dell Technologies», — сказал Арункумар Нараянан (Arunkumar Narayanan), старший вице-президент по вычислениям и сетевым технологиям в Dell Technologies. «Мы помогаем запустить NVIDIA Groq 3 LPX и Vera Rubin NVL72 в масштабе, превращая ведущую в отрасли производительность в развертываемую инфраструктуру, которую клиенты могут использовать уже сегодня».
«Облако инференса Groq требует инфраструктуры, созданной для скорости и масштаба, и именно это предлагает Dell Technologies», — сказал Арункумар Нараянан (Arunkumar Narayanan), старший вице-президент по вычислениям и сетевым технологиям в Dell Technologies. «Мы помогаем запустить NVIDIA Groq 3 LPX и Vera Rubin NVL72 в масштабе, превращая ведущую в отрасли производительность в развертываемую инфраструктуру, которую клиенты могут использовать уже сегодня».
Контакт для СМИ
pr-media@groq.com
