Потребности мобильных пользователей продолжают расти. Им нужны более качественная визуализация, более плавная частота кадров и еще более захватывающий игровой процесс. Для разработчиков эта задача представляет собой сложную проблему, поскольку они стремятся оправдать эти ожидания, оставаясь при этом в рамках жестких ограничений по энергопотреблению, тепловыделению и пропускной способности мобильных устройств.
Традиционный рендеринг позволяет обеспечить высокое качество изображения, однако достижение визуальной точности уровня ПК в рамках мобильных ограничений требует повышенной эффективности. Нейрографика предлагает иной путь: использование ИИ для восстановления деталей, генерации промежуточных кадров и улучшения изображений при одновременном снижении нагрузки на GPU и всю систему в целом.
Тем не менее, внедрение нейрографики в массовые мобильные приложения требует глубокой интеграции на уровне архитектуры GPU и экосистемы разработчиков. С учетом того, что на сегодняшний день поставлено более 14 миллиардов графических процессоров Mali, компания Arm обладает достаточными масштабами и опытом, чтобы сделать эти возможности доступными на мобильных устройствах следующего поколения.
Этот сдвиг лежит в основе Arm Mali G2-Ultra NX GPU. Будучи первым графическим процессором Mali с нативной поддержкой ИИ, он интегрирует нейронное ускорение непосредственно в графический конвейер, помогая разработчикам создавать более богатые и отзывчивые визуальные эффекты в рамках энергопотребления мобильных устройств и быстрее внедрять нейрографику в производство.
GPU с нативной поддержкой ИИ для нейрографики
Mali G2-Ultra NX с самого начала создавалась для нейрографики: нейронные ускорители тесно интегрированы в шейдерные ядра, что позволяет запускать рабочие нагрузки нейрографики параллельно с графическими и вычислительными задачами. Такая тесная интеграция позволяет повторно использовать систему памяти GPU, когерентные кэши и структуры управления, помогая сократить передачу данных и повысить эффективность всего конвейера.
Три нейротехнологии, входящие в состав Mali G2-Ultra NX, демонстрируют открывающиеся благодаря этому возможности:
- Нейро-суперсэмплинг (Neural Super Sampling — NSS) восстанавливает изображения более высокого разрешения из рендеров с более низким разрешением, сокращая объем традиционных вычислений рендеринга, необходимых для получения качественного финального изображения.
- Нейронное масштабирование частоты кадров (Neural Frame Rate Upscaling — NFRU) генерирует промежуточные кадры для увеличения частоты кадров и обеспечения более плавного геймплея.
- Нейро-суперсэмплинг и шумоподавление (Neural Super Sampling and Denoising — NSSD) объединяют нейронное масштабирование с шумоподавлением для повышения качества изображения в сложных сцен с трассировкой лучей, характеризующихся сложным освещением и тенями.
Neural Dawn, разработанная компаниями Arm и Sumo Digital, демонстрирует, как разработчики могут интегрировать NFRU и NSSD в производственный конвейер игры, обеспечивая до 4 раз большую эффективность производительности и до 70 процентов меньший объем трафика внешней памяти по сравнению с нативным рендерингом. Такие преимущества могут сделать передовые методы, такие как Unreal Engine MegaLights, практически применимыми на мобильных устройствах.
Сочетая традиционный рендеринг и нейрографику, разработчики могут сохранить качество изображения, одновременно снижая нагрузку на GPU и системном уровне. Для игроков это означает более четкие изображения, плавную частоту кадров, более насыщенные сцены и более отзывчивый геймплей в рамках ограничений мобильного устройства.
Новый движок выполнения увеличивает графический ресурс
Наряду с нейронным ускорением, Mali G2-Ultra NX представляет новый движок выполнения — крупнейшее обновление архитектуры набора команд GPU Mali за семь поколений, которое призвано справляться с возрастающей сложностью графических нагрузок при одновременном повышении производительности. Он обеспечивает до 2 раз больше регистров на варп, помогая GPU эффективнее обрабатывать все более сложные сцены. Это дает разработчикам больший запас производительности для создания богатой визуализации и более сложных эффектов при сохранении стабильной частоты кадров.
Архитектурные усовершенствования обеспечивают увеличение производительности в бенчмарках на 24% и в играх без использования ИИ на 14% по сравнению с предыдущим поколением. Сочетание архитектурных улучшений и нейронного ускорения с помощью NFRU поддерживает более длительные мобильные игровые сессии при частоте до 120 кадров в секунду для более плавной и отзывчивой игры.
Модуль трассировки лучей третьего поколения обеспечивает более эффективное создание насыщенного освещения и теней
Mali G2-Ultra NX представляет третье поколение аппаратной трассировки лучей от Arm, поддерживающее более сложное освещение, тени, отражения и геометрию на мобильных устройствах. Новая архитектура GPU снижает трафик DRAM на ведущих бенчмарках трассировки лучей на величину до 13 процента, уменьшая нагрузку на память по мере роста сложности сцены.
Между тем, аппаратная поддержка Opacity Micromaps помогает более эффективно обрабатывать сложную прозрачную геометрию, обеспечивая более пышную листву, детализированные ткани, многослойные поверхности и другие сложные элементы сцены на мобильных устройствах. В одной из демонстраций Arm использование Opacity Micromaps позволило увеличить частоту кадров на 30 процентов и снизить нагрузку от трассировки лучей на 70 процентов, продемонстрировав, как эта технология может сделать сложную геометрию более применимой для мобильных устройств.
Нейрографика дополняет эти достижения в области трассировки лучей. Сочетание нового оборудования для трассировки лучей с нейротехнологиями, такими как NFRU, помогает более эффективно передавать богатые визуальные детали в рамках ограничений мобильного рендеринга.
Предоставление разработчикам практического пути для более быстрого внедрения нейрографики в производство
Тем не менее, новое графическое железо приносит пользу только тогда, когда разработчики получают к нему доступ через привычные инструменты и рабочие процессы. Компания Arm начала подготовку экосистемы программного обеспечения за два года до появления Mali G2-Ultra NX с Arm Neural Technology и открытым комплектом разработчика для нейрографики. Это дало создателям контента, разработчикам инструментов и поставщикам игровых движков, включая Magic Dawn от Tencent Games Central Tech и Tuanjie Engine от Unity China, ранний доступ к нейронным методам, чтобы они могли начать интеграцию в существующие рабочие процессы еще до появления оборудования.
«Нейрографика открывает новые возможности для создания мобильных игр следующего поколения. Вместе с Arm мы интегрируем Arm Neural Technologies в MagicDawn и совместно разрабатываем демонстрацию технологии NSSD для Arena Breakout Infinite. Связывая технологические инновации с движками, разработчиками и реальным игровым контентом, мы помогаем строить экосистему, которая способна предоставить мобильным игрокам более продвинутый графический опыт в массовом масштабе». Нейтан Чен (Nathan Chen), руководитель технологического направления, Tencent Games.
«Наше сотрудничество с Arm — это нечто большее, чем просто внедрение новой технологии в движок; речь идет о том, чтобы предоставить более широкой экосистеме разработчиков возможность задействовать эту технологию на практике. Путем нативной интеграции Arm Neural Technology в Tuanjie Engine мы помогаем разработчикам проще внедрять передовую нейрографику и ускоряем путь от технологических инноваций к реальному геймингу по всей экосистеме разработки игр в Китае». Цзюньбо Чжан (Junbo Zhang), генеральный директор, Unity China.
Сегодня Arm Neural Graphics Development Kit предоставляет программное обеспечение и инструменты, необходимые для перевода этой работы в стадию производства с использованием стандартных графических API, игровых движков и пользовательских рабочих процессов. Стек разработчика включает NSS и NFRU, а также расширения машинного обучения для Vulkan и плагины для ведущих игровых движков, включая Unreal Engine. SDK поддерживает интеграцию с пользовательскими движками, а инструменты профилирования, оптимизации графики, обучения и оптимизации моделей помогают разработчикам оценивать и настраивать рабочие нагрузки нейронной графики.
Все эти ресурсы обеспечивают путь от экспериментов к производству, не требуя от студий создания специализированной исследовательской инфраструктуры или изменения уже используемых рабочих процессов разработки.
Как говорит Кели Чжоу, ведущий разработчик движка игры Where Winds Meet: «Благодаря нашему сотрудничеству с Arm мы интегрируем технологию Arm Neural Technology в Messiah Engine и внедряем ее в реальную разработку игр. Where Winds Meet станет одной из первых игр, которая представит Arm Neural Technology игрокам, что станет важным шагом от интеграции на уровне движка к реальному развертыванию. Вместе мы прокладываем путь к более широкому внедрению нейронной графики разработчиками во всей игровой экосистеме».
Основа для AI-native графики в Arm CSS for Mobile 2
Передовая мобильная графика требует оптимизации всей системы, а не только GPU. В рамках Arm CSS for Mobile 2, Mali G2-Ultra NX объединяет AI-native графику с оптимизациями вычислений, памяти, программного обеспечения и реализации, чтобы помочь партнерам по производству кремниевых чипов справляться с растущими требованиями к рабочим нагрузкам в рамках ограничений по питанию и тепловыделению мобильных устройств.
В сочетании с экосистемой, готовой к внедрению этих возможностей в производство, это поднимает планку мобильной графики, обеспечивая более насыщенные визуальные эффекты и более плавную работу на миллиардах мобильных устройств.
Arm Mali G2-Ultra NX
Развитие мобильной графики за счет интеграции нейронных ускорителей непосредственно в графический конвейер.
