Почти каждое предприятие, с которым я общаюсь, занимается пилотными проектами в сфере ИИ. Гораздо сложнее превратить эти пилотные проекты в нечто, что может надежно работать в производственной среде.
Для этого требуется нечто большее, чем графические процессоры (GPU). Вам нужна операционная модель, которая способна поддерживать движение данных и обеспечивать бесперебойную работу ускорителей, сохранять контекст и предоставлять командам надежный способ управления распределенными рабочими нагрузками ИИ.
Работа над фабрикой ИИ, о которой мы объявили на конференции Pure Accelerate, опирается на фундамент данных, который мы развивали в течение всего года. На конференции NVIDIA GTC Berlin (20-22 октября 2026 г.) мы делаем следующий шаг: показываем больше элементов архитектуры, стоящую за ней реализацию и то, чему мы научились в процессе совместной работы с Red Hat и NVIDIA.
4 вещи, которые должна обеспечивать плоскость данных
1. Доверенный доступ к данным
Во многих производственных средах по-прежнему может быть сложно точно определить, что именно породило модель: какая версия набора данных, какой коммит кода и какие данные оценки лежат в основе того, что обслуживает трафик. Для этого требуется управляемый доступ, уважающий существующие разрешения, и надежное отслеживание происхождения (lineage), которое сохраняется независимо от отдельных инструментов отслеживания. Для организаций, работающих в условиях требований суверенитета или конфиденциальности, это управление распространяется также и на производные данные, такие как вложения (embeddings).
2. Высокопроизводительная доставка
Обучение ИИ создает совершенно разные требования к операциям ввода-вывода (I/O) на разных этапах. Загрузка данных стимулирует высокопараллельные чтения, в то время как создание контрольных точек (checkpointing) формирует крупные последовательные пакеты записи. Плоскость данных должна справляться с тем и другим, не превращаясь в узкое место.
Рассчитывайте пропускную способность пути записи с учетом всплеска при сохранении контрольных точек, а не среднего потока. И не полагайтесь исключительно на загрузку GPU как на меру эффективности: занятый GPU необязательно выполняет полезную работу. Полезная пропускная способность (goodput) — это лучший показатель того, действительно ли система продвигает процесс обучения вперед.
3. Эффективная работа с контекстом
По мере масштабирования агентских рабочих нагрузок кэш KV становится инфраструктурной проблемой. Сеансы с большим контекстом и множеством диалоговых циклов могут перерасти память GPU, вынуждая системы вытеснять и заново вычислять контекст, который уже был обработан.
Наша эталонная архитектура оптимизации токенов ИИ более подробно рассматривает то, как кэширование и маршрутизация в масштабе всего парка устройств могут расширить этот контекст за пределы памяти GPU и сократить ненужные повторные вычисления.
4. Поддержка распределенных рабочих нагрузок ИИ
Распределенным рабочим нагрузкам ИИ необходимы как общее пространство имен, так и переносимое состояние. Контрольные точки должны записываться согласованно по всем рангам, а персистентные данные, такие как векторные индексы, метаданные каталогов и состояние сеансов, должны перемещаться вместе с рабочей нагрузкой по мере изменения решений о размещении на основе требований к стоимости, емкости, задержке или суверенитету.
Создание фундамента данных для производственного ИИ
Эти требования определяют нашу работу над архитектурой данных Everpure для фабрики ИИ Red Hat с использованием технологий NVIDIA, охватывающей обучение, инференс и гибридные среды ИИ.
Цель состоит не в том, чтобы создать единую архитектуру для одной рабочей нагрузки. Производственный ИИ охватывает подготовку данных, обучение, инференс и все более гибридные среды, где рабочие нагрузки и данные должны перемещаться в зависимости от требований к производительности, стоимости, емкости или суверенитету.
Наша работа с Red Hat и NVIDIA сосредоточена на объединении этих уровней: в фабрике ИИ Red Hat с технологиями NVIDIA для уровня приложений и оркестрации, работающего на базе NVIDIA для ускоренных вычислений, при этом Red Hat AI Enterprise и NVIDIA AI Enterprise предоставляют программный стек ИИ, а Everpure выступает в качестве подлежащей плоскости данных. Благодаря тому, что решение Everpure™ FlashBlade//S™ получило сертификат NVIDIA-Certified Storage для платформы NVIDIA Vera Rubin Platform, этот фундамент также распространяется на платформу ускоренных вычислений NVIDIA следующего поколения. Платформа NVIDIA Vera Rubin Platform — это платформа масштаба POD, предназначенная для агентского ИИ и функционирующая как единый суперкомпьютер ИИ для стимулирования доходов от генерации токенов.
Мы применяем эту работу во всем жизненном цикле ИИ: от управляемой подготовки данных до обучения, инференса и мобильности рабочих нагрузок в гибридной среде.
Подготовка данных: управляемые данные для ИИ
Производственный ИИ начинается до этапа обучения или инференса. Корпоративные данные должны быть обнаружены, подготовлены и доставлены в конвейеры ИИ с сохранением примененных к ним элементов управления доступом.
Наша работа с Everpure Data Stream и Red Hat AI сосредоточена на обеспечении этого слоя готовности данных, помогая командам обрабатывать и подготавливать неструктурированные данные по месту их хранения (in place) и доставлять управляемые, готовые к использованию в ИИ данные для потребления системами ИИ. Это сотрудничество с Red Hat продолжает развиваться.
Оттуда мы расширяем архитектуру на этапы обучения, инференса и мобильности рабочих нагрузок.
Обучение: создание повторяемого конвейера фабрики ИИ
Предприятия, переносящие тонкую настройку (fine-tuning) в производство, сталкиваются с четырьмя проблемами:
- Утилизация: GPU остаются занятыми после завершения прогонов, а кластеры простаивают между задачами.
- Автоматизация: задачи запускаются вручную, но новые данные вынуждены ждать человека.
- Надежность: контрольные точки с разделением по рангам (rank-sharded) находятся на локальных дисках, а неполные обнаруживаются только во время восстановления.
- Управление: модели продвигаются дальше без какого-либо подтверждаемого отчета о данных, коде и оценках, лежащих в их основе.
Наша архитектура обучения решает все четыре проблемы. Red Hat AI работает на «голом железе», Everpure FlashBlade//S обслуживает как S3, так и NFS, а Portworx® FlashBlade® Direct Access предоставляет общие тома с возможностью чтения и записи для множества клиентов (read-write-many). Набор данных, попадающий во входящий ящик S3, инициирует запуск тонкой настройки, а Kueue принимает его только тогда, когда доступен полный объем выделенных ресурсов. Когда обучение завершается, ускорители возвращаются в общий пул. В финальном тестовом прогоне мы выполнили тонкую настройку модели Qwen3-32B с помощью DeepSpeed ZeRO-3 — каждый ранг записал свой фрагмент контрольной точки (checkpoint shard) в одно и то же общее пространство имен, сформировав полную контрольную точку, которая перешла в S3 вместе с данными о происхождении и оценке, необходимыми для продвижения модели.
В процессе сборки также выявились практические уроки. Во время одного из ранних прогонов ранг 0 выгрузил только те фрагменты, которые были ему видны локально: ничего не завершилось с ошибкой, но контрольная точка оказалась неполной. Мы также выяснили, что квоты на допуск должны покрывать весь запрос рабочей нагрузки — процессор и память, а не только GPU, иначе задача встает в очередь без запуска.
Эти детали имеют решающее значение, когда конвейер должен надежно работать в производстве, а не просто проходить тест.
Инференс: превращение контекста в часть пути данных
Инференс создает иной набор требований.
По мере роста контекстных окон и обретения агентскими приложениями состояний кэш KV может превысить объем памяти GPU. Когда этот контекст вытесняется и его приходится вычислять заново, дорогие циклы ускорителей тратятся на повторное выполнение уже проделанной работы.
Наша архитектура инференса расширяет плоскость данных в путь обслуживания. Текущая работа над проектом Distributed Inference с использованием llm-d объединяет дезагрегированные предварительное заполнение (prefill) и декодирование, маршрутизацию с учетом кэша и FlashBlade в качестве персистентного уровня для кэша KV, который больше не может оставаться в памяти GPU.
Мы внедряем эту работу в более широкую эталонную архитектуру инференса, демонстрация интеграции которой состоится на GTC Berlin. Полная архитектура появится по мере завершения работ.
Гибридный ИИ: обеспечение переносимости рабочих нагрузок и данных
Те же производственные требования выходят за рамки отдельной среды.
Мы также расширяем эту работу до гибридной эталонной архитектуры фабрики ИИ, охватывающей Red Hat AI, ускоренные вычисления NVIDIA, Portworx и инфраструктуру данных Everpure в локальных и облачных средах. Цель состоит в том, чтобы обеспечить переносимость данных и постоянного состояния при перемещении рабочих нагрузок на основе требований к стоимости, емкости, задержке или суверенитету, не заставляя команды перестраивать среду данных под рабочую нагрузку каждый раз при ее перемещении.
Эта работа опирается на архитектуру гибридной фабрики ИИ, которую мы уже разработали совместно с Red Hat и NVIDIA, и будет продолжать развиваться по мере созревания этих производственных паттернов.
Эти архитектуры представляют собой лишь часть того, как Everpure помогает организациям подготавливать свои данные для ИИ. Everpure Data Stream и Everpure Data Intelligence удовлетворяют взаимодополняющие потребности по мере внедрения ИИ в производство.
Независимое подтверждение в масштабных условиях
Эталонные архитектуры показывают, как компоненты сочетаются друг с другом. Бенчмаркинг дает нам еще один способ проверить, успевает ли лежащая в основе платформа данных за рабочей нагрузкой.
Именно здесь полезен MLPerf Storage v3.0.
В этом году организация MLCommons добавила в тестовый набор MLPerf рабочие нагрузки сохранения контрольных точек и кэша KV, разработанные с учетом паттернов хранения данных при крупномасштабном обучении и инференсе ИИ. FlashBlade//EXA™ заняла первое место во всех категориях контрольных точек и кэша KV, в которых мы участвовали в категории CLOSED.
Что касается инференса, FlashBlade//EXA продемонстрировала производительность 85 736 токенов в секунду для рабочей нагрузки только с хранилищем для Llama 3.1 8B и 33 403 токенов в секунду для аналогичной рабочей нагрузки 70B. Что касается обучения, FlashBlade//EXA также продемонстрировала практически линейное масштабирование по мере увеличения количества симулируемых ускорителей в бенчмарке.
В совокупности эти результаты служат независимым доказательством того, что уровень данных Everpure способен поддерживать паттерны сохранения контрольных точек и управления контекстом, которые все чаще определяют промышленный ИИ.
Задача сейчас заключается в расширении этих возможностей по мере масштабирования систем, а также по мере того, как параллелизм, перемещение данных и нагрузка на контекст становятся повседневными операционными задачами. Именно об этом мы продолжим разговор на SC26.
- Результаты MLPerf Storage v3.0
Приходите посмотреть демонстрации на стендах Everpure и Red Hat на конференции GTC Berlin 21–22 октября 2026 года. Book a meeting with us.
