Запросы мобильных пользователей продолжают расти. Им нужны более насыщенная визуализация, более плавная частота кадров и все более захватывающий опыт. Для разработчиков эта задача сложна, поскольку они стремятся соответствовать этим ожиданиям, оставаясь при этом в рамках строгих ограничений по энергопотреблению, тепловыделению и пропускной способности мобильных устройств.
Традиционный рендеринг позволяет добиться высокого качества изображения, но достижение визуальной точности уровня настольных ПК в рамках мобильных ограничений требует большей эффективности. Нейронная графика предлагает другой путь, используя ИИ для восстановления деталей, генерации промежуточных кадров и улучшения изображений при одновременном снижении нагрузки на графический процессор и систему в целом.
Однако внедрение нейронной графики в массовые мобильные продукты требует глубокой интеграции в архитектуру графического процессора и экосистему разработчиков. Имея на сегодняшний день более 14 миллиардов поставленных графических процессоров Mali, компания Arm обладает масштабом и опытом, чтобы сделать эти возможности доступными для следующего поколения мобильных устройств.
Этот сдвиг лежит в основе графического процессора Arm Mali G2-Ultra NX. Будучи первым графическим процессором Mali с поддержкой ИИ, он интегрирует нейронное ускорение непосредственно в графический конвейер, помогая разработчикам создавать более насыщенные и отзывчивые визуальные эффекты в рамках мобильного энергопотребления и быстрее внедрять нейронную графику в производство.
Графический процессор с поддержкой ИИ для нейронной графики
Mali G2-Ultra NX изначально создавался для нейронной графики: нейронные ускорители плотно интегрированы в шейдерные ядра, что позволяет запускать рабочие нагрузки нейронной графики параллельно с графическими и вычислительными задачами. Такая тесная интеграция позволяет повторно использовать систему памяти GPU, когерентные кэши и структуры управления, помогая сократить перемещение данных и повысить эффективность всего конвейера.
Три нейронные технологии, являющиеся частью Mali G2-Ultra NX, демонстрируют возможности этого решения:
- Neural Super Sampling (NSS) восстанавливает изображения с более высоким разрешением из рендеров с низким разрешением, сокращая объем традиционной работы по рендерингу, необходимой для получения высококачественного финального изображения.
- Neural Frame Rate Upscaling (NFRU) генерирует промежуточные кадры для увеличения частоты кадров и обеспечения более плавного игрового процесса.
- Neural Super Sampling and Denoising (NSSD) сочетает нейронное масштабирование с шумоподавлением для улучшения качества изображения в требовательных сценах с трассировкой лучей, сложным освещением и тенями.
Neural Dawn, разработанная Arm и Sumo Digital, демонстрирует, как разработчики могут интегрировать NFRU и NSSD в производственный игровой конвейер, обеспечивая до 4 раз более высокую эффективность производительности и до 70 процентов меньший трафик внешней памяти по сравнению с нативным рендерингом. Эти достижения могут сделать передовые методы, такие как Unreal Engine MegaLights, практически применимыми на мобильных устройствах.
Сочетая традиционный рендеринг и нейронную графику, разработчики могут сохранить качество изображения, снизив при этом нагрузку на графический процессор и систему. Для игроков это означает более четкие изображения, более плавную частоту кадров, более насыщенные сцены и более отзывчивый игровой процесс в рамках ограничений мобильного устройства.
Новый движок исполнения увеличивает графический бюджет
Наряду с нейронным ускорением, Mali G2-Ultra NX представляет новый движок исполнения — крупнейшее обновление архитектуры набора инструкций графического процессора Mali за семь поколений, — который предназначен для обработки все более сложных графических нагрузок при одновременном повышении производительности. Он обеспечивает до 2 раз больше регистров на варп, помогая GPU более эффективно справляться с все более требовательными сценами. Это дает разработчикам больше возможностей для создания более насыщенных визуальных эффектов и сложных сцен при сохранении стабильной частоты кадров.
Архитектурные улучшения обеспечивают до 24 процентов более высокую производительность в тестах и 14 процентов более высокую производительность в играх без использования ИИ по сравнению с предыдущим поколением. Сочетание архитектурных улучшений с нейронным ускорением через NFRU поддерживает более длительные игровые сессии с частотой до 120 кадров в секунду для более плавного и отзывчивого игрового процесса.
Третье поколение блока трассировки лучей обеспечивает более эффективное освещение и тени
Mali G2-Ultra NX представляет третье поколение аппаратной трассировки лучей от Arm, поддерживающее более сложное освещение, тени, отражения и геометрию на мобильных устройствах. Новая архитектура GPU обеспечивает до 13 процентов меньший трафик DRAM в ведущих тестах трассировки лучей, снижая нагрузку на память по мере усложнения сцены.
Тем временем, аппаратная поддержка Opacity Micromaps помогает более эффективно обрабатывать сложную прозрачную геометрию, позволяя создавать более богатую растительность, детализированные ткани, многослойные поверхности и другие сложные элементы сцены на мобильных устройствах. В одной из демонстраций Arm использование Opacity Micromaps увеличило частоту кадров на 30 процентов и снизило нагрузку на трассировку лучей до 70 процентов, демонстрируя, как эта технология может сделать сложную геометрию более практичной на мобильных устройствах.
Нейронная графика дополняет эти достижения в области трассировки лучей. Сочетание нового оборудования для трассировки лучей с нейронными технологиями, такими как NFRU, помогает более эффективно обеспечивать более богатую визуальную детализацию в рамках ограничений мобильного рендеринга.
Предоставление разработчикам практического пути для более быстрого внедрения нейронной графики в производство
Однако новое графическое оборудование приносит пользу только тогда, когда разработчики могут получить к нему доступ через привычные инструменты и рабочие процессы. Arm начала подготовку программной экосистемы за два года до выхода Mali G2-Ultra NX с помощью Arm Neural Technology и открытого комплекта разработки для нейронной графики. Это дало разработчикам контента, инструментов и игровых движков, включая Magic Dawn от Tencent Games Central Tech и Tuanjie Engine от Unity China, ранний доступ к нейронным методам, чтобы они могли начать интегрировать их в существующие рабочие процессы еще до появления оборудования.
«Нейронная графика открывает новые возможности для создания мобильных игр следующего поколения. Вместе с Arm мы интегрируем технологии Arm Neural Technologies в MagicDawn и совместно разрабатываем демонстрацию технологии NSSD с Arena Breakout Infinite. Соединяя технологические инновации с движками, разработчиками и реальным игровым контентом, мы помогаем создавать экосистему, которая сможет масштабно предоставлять мобильным игрокам более продвинутый графический опыт». Нейтан Чен, руководитель отдела технологий, Tencent Games.
«Наше сотрудничество с Arm — это нечто большее, чем просто внедрение новой технологии в движок; это расширение возможностей всей экосистемы разработчиков для применения этой технологии на практике. Благодаря нативной интеграции Arm Neural Technology в Tuanjie Engine мы помогаем разработчикам легче внедрять передовую нейронную графику и ускоряем путь от технологических инноваций к реальным играм в игровой экосистеме Китая». Джунбо Чжан, генеральный директор, Unity China.
Сегодня Arm Neural Graphics Development Kit предоставляет программное обеспечение и инструменты, необходимые для перевода этой работы в стадию производства с использованием стандартных графических API, игровых движков и пользовательских рабочих процессов. Стек разработчика включает NSS и NFRU, а также расширения машинного обучения для Vulkan и плагины для ведущих игровых движков, включая Unreal Engine. SDK поддерживает интеграцию с пользовательскими движками, а инструменты профилирования, оптимизации графики, обучения и оптимизации моделей помогают разработчикам оценивать и настраивать рабочие нагрузки нейронной графики.
Все эти ресурсы обеспечивают путь от экспериментов к производству, не требуя от студий создания специализированной исследовательской инфраструктуры или изменения уже используемых рабочих процессов разработки.
Как говорит Кели Чжоу, ведущий разработчик движка Where Winds Meet: «Благодаря нашему сотрудничеству с Arm мы интегрируем технологию Arm Neural Technology в Messiah Engine и внедряем ее в реальную разработку игр. Where Winds Meet станет одной из первых игр, которая представит Arm Neural Technology игрокам, что станет важным шагом от интеграции на уровне движка к реальному развертыванию. Вместе мы прокладываем путь к более широкому внедрению нейронной графики разработчиками во всей игровой экосистеме».
Основа для графики с поддержкой ИИ для Arm CSS for Mobile 2
Передовая мобильная графика требует оптимизации всей системы, а не только графического процессора. В рамках Arm CSS for Mobile 2, Mali G2-Ultra NX объединяет графику с поддержкой ИИ с оптимизацией вычислений, памяти, программного обеспечения и реализации, чтобы помочь партнерам по производству кремниевых чипов справляться с растущими требованиями к рабочим нагрузкам в рамках ограничений по питанию и тепловыделению мобильных устройств.
В сочетании с экосистемой, готовой к внедрению этих возможностей в производство, это повышает планку мобильной графики, обеспечивая более насыщенное визуальное оформление и более плавную работу на миллиардах мобильных устройств.
Arm Mali G2-Ultra NX
Развитие мобильной графики за счет интеграции нейронных ускорителей непосредственно в графический конвейер.
