Модель GPT-6 Astra Ultrafast, работающая на графических процессорах NVIDIA Blackwell, уже доступна в API OpenAI, а также для соответствующих требованиям пользователей ChatGPT Work и Codex.
Благодаря оптимизации вывода в моделях OpenAI, использующих возможности архитектуры NVIDIA Blackwell, режим Ultrafast обеспечивает генерацию токенов до 8 раз быстрее, чем в режиме Astra Standard. Для разработчиков более высокая скорость генерации позволяет сократить циклы редактирования, тестирования и отладки у агентов по написанию кода, уменьшить время ожидания ответов между вызовами инструментов и сделать интерактивные приложения более отзывчивыми.
Быстрый отклик особенно важен при многократном повторении действий в рамках рабочего процесса: агент пишет код, использует инструмент, проверяет результат и решает, что делать дальше. Ultrafast внедряет возможности Astra в эти критически важные по времени циклы. Инфраструктура NVIDIA AI помогает OpenAI предоставлять более полезные результаты работы моделей именно тогда, когда они нужны разработчикам.
«Глубокие инвестиции NVIDIA в инструменты и документацию позволили нам сделать наши модели исключительно эффективными в программировании графических процессоров Blackwell и Rubin», — сказал Филипп Тийе, руководитель направления вывода в OpenAI. — «Astra может превратить эти знания в высокопроизводительные ядра, которые делают оборудование NVIDIA привлекательным по всем ключевым показателям: задержке, пропускной способности и стоимости. В случае с Astra Ultrafast это означает более быстрые ответы моделей, когда агенты пишут код, используют инструменты и выполняют сложные задачи».
Постоянное повышение производительности
Прирост производительности не прекращается после развертывания модели. OpenAI использует собственные модели для совершенствования программного обеспечения для вывода, работающего на графических процессорах NVIDIA, используя возможности программирования платформы для тестирования и внедрения улучшений. Эта постоянная работа позволяет со временем ускорить ответы моделей и повысить продуктивность развернутой инфраструктуры.
«Наша работа с NVIDIA помогает нам сделать ИИ быстрее и полезнее», — отметил Удай Раддараджу, технический директор по вычислительным мощностям в OpenAI. — «Мы использовали наши внутренние модели для оптимизации вывода на графических процессорах NVIDIA, а возможности программирования NVIDIA помогли нам обеспечить ускорение, лежащее в основе Astra Ultrafast».
Программируемая платформа NVIDIA позволяет разработчикам и исследователям повторно использовать инфраструктуру для обучения, вывода и обучения с подкреплением по мере развития моделей. Такая гибкость помогает командам перераспределять вычислительные ресурсы при изменении спроса, повышая уровень их использования и избегая избыточного резервирования для каждой рабочей нагрузки.
Разработчики могут воспользоваться GPT-6 Astra Ultrafast через API уже сегодня. Ознакомьтесь с руководством по Ultrafast, чтобы узнать о доступе, ценах и деталях реализации.
