Основные выводы
- Кастомный чип Amazon Trainium помогает обеспечивать работу ИИ для кинематографичных хайлайтов Prime 360.
- Хайлайты Prime 360 демонстрируются в рамках отдельных трансляций NBA on Prime.
- Trainium выполняет миллиарды вычислений, необходимых для каждого кадра, достаточно быстро для использования в прямом эфире игры.
Во время отдельных трансляций NBA on Prime в этом сезоне прорывная технология под названием Prime 360 будет создавать кинематографичные хайлайты реальных игровых моментов, чтобы представить происходящее на площадке болельщикам дома так, как никогда раньше.
Созданная в результате уникального сотрудничества продюсеров Prime Video, инженеров и специалистов по искусственному интеллекту, эта проприетарная технология на базе ИИ также опирается на диффузионные модели — класс искусственного интеллекта, требующий огромной вычислительной мощности. Чтобы запускать эти модели достаточно быстро для работы в прямом эфире, компания Amazon обратилась к Trainium — своему чипу ИИ собственной разработки.
Чип Trainium, созданный Amazon для рабочих нагрузок, которые обрабатывают большие объемы данных на высокой скорости, является частью «движка» технологии хайлайтов Prime 360. Prime 360 использует массив камер высокого разрешения, расположенных вокруг площадки, чтобы запечатлеть происходящее. Эти материалы обрабатываются с помощью моделей ИИ, которые создают иммерсивные хайлайты кадр за кадром.
Настоящая техническая проблема заключается не в съемке материала, а в создании хайлайтов телевизионного качества с достаточной скоростью для использования в прямом эфире матча.
Почему хайлайты во время игры требуют стольких вычислительных мощностей?
Визуальная точность Prime 360 обеспечивается классом моделей ИИ под названием диффузионная модель. Это та же базовая технология, которая лежит в основе популярных инструментов генерации изображений: модель итеративно дорабатывает визуальный результат, превращая шум в отполированный кадр.
Диффузионные модели мощны, но они также исключительно требовательны к ресурсам вычислений. Каждый кадр видеоматериала должен пройти через модель, прежде чем он будет готов к эфиру. Каждая итерация через модель включает в себя миллиарды математических операций — матричных умножений, вычислений внимания и итеративных шагов шумоподавления, — и все это должно выполняться достаточно быстро, чтобы не отставать от прямых трансляций.
Это делает процесс диффузии важнейшим этапом в конвейере Prime 360. Модели, которые генерируют финальный результат, должны успевать за высоким темпом телевидения в прямом эфире. Решение этой задачи требует как оптимизации программного обеспечения, так и инноваций на уровне микросхем.
Что делает Trainium достаточно быстрым?
Здесь на помощь приходит Trainium, специализированный чип ИИ от Amazon.
Trainium был разработан с нуля именно для таких рабочих нагрузок, хотя еще несколько лет назад этот тип приложений казался лишь несбыточной фантазией. Его архитектура следует принципу, который инженеры Trainium, работающие над созданием чипов Amazon, описывают как «тайл на входе, тайл на выходе»: она оптимизирована для рабочих процессов, в которых входные и выходные данные представляют собой крупные тензоры.
Диффузионная модель Prime 360 обрабатывает каждый кадр, разделяя его на десятки перекрывающихся тайлов, каждый из которых проходит через модель независимо. Входные и выходные данные на каждом шаге представляют собой крупные тензоры (массивные сетки чисел, которые модели ИИ используют для представления изображений, движения и глубины).
Результатом является вывод диффузионной модели, который снижает задержку более чем на 40%, делая его достаточно быстрым для генерации этих хайлайтов для использования в игре и позволяя продюсерам улучшить повествование и впечатления зрителей от просмотра.
Что Trainium предлагает в будущем?
Amazon годами разрабатывает собственные чипы, но большая часть этой работы обеспечивала облачную инфраструктуру за кулисами, делая вычисления более быстрыми и эффективными для компаний и разработчиков, создающих свои продукты на базе AWS.
В случае с Prime 360 эти инвестиции воплощаются в то, что увидят на экранах миллионы болельщиков. Это яркий пример того, как Amazon использует собственные заказные полупроводники для создания потрясающего ИИ-опыта для фанатов, смотрящих NBA on Prime. Вывод прост: эти кинематографичные хайлайты, которые традиционные камеры не могут воспроизвести, создаются разработанным Amazon оборудованием. Это прямая связь между разработкой чипов и тем, что вы видите на своем телевизоре, и это лишь один из примеров того, что делает возможным растущий портфель заказных чипов Amazon.
Популярные новости и истории
- Обновление от руководства инженерного отдела Amazon о роли разработчика в эпоху искусственного интеллекта
- Amazon представляет свою новейшую линейку устройств Alexa
- Amazon представляет Alexa Photo Frame — самый умный способ перенести ваши фотографии в дом
- Amazon представляет 2 новых продукта ИИ от Bee: Bee Frontier и Bee Eclipse
.webp)
