В высокопроизводительных вычислениях (HPC) пропускная способность перемещает данные, но именно предсказуемая связь обеспечивает непрерывность научных исследований.
В центре внимания HPC всегда находилась вычислительная мощность: более быстрые процессоры, более мощные графические процессоры, более высокая пропускная способность памяти. С появлением инноваций в области ускорителей/XPU и взрывным ростом объемов обработки данных и вычислительных потребностей инфраструктура теперь должна поддерживать рабочие нагрузки приложений HPC, которые все больше распределяются между несколькими узлами, стойками и кластерами.
Сегодня сеть — это не просто скорости, каналы связи или объединение вычислительных ресурсов. Это продолжение самих вычислений.
О чем нам говорит самый быстрый суперкомпьютер в мире?
Производительность суперкомпьютера определяется тем, насколько быстро его процессоры выполняют вычисления и насколько эффективно он может заставить тысячи процессоров работать вместе. Ведущие суперкомпьютеры продемонстрировали решающую роль сетей за счет поддержки специализированных высокоспециализированных интерконнектов.
Задача выходит далеко за рамки простой передачи пакетов. В масштабируемых системах сетевая фабрика должна поддерживать связь между миллионами вычислительных ядер, которые постоянно генерируют высокосинхронизированные коллективные операции MPI, обмен данными с соседними областями (halo exchanges) и пульсирующие шаблоны трафика. Передовые архитектуры суперкомпьютеров уделяют особое внимание связи с малой задержкой, высокой двунаправленной пропускной способности, адаптивной маршрутизации, множеству избыточных путей и сложным механизмам контроля перегрузки, чтобы гарантировать, что распределенные процессоры тратят меньше времени на ожидание данных. Например, производительность связи имеет решающее значение для окупаемости инвестиций в вычисления для университетских исследовательских центров, национальных лабораторий и корпоративных команд по ИИ.
Слияние HPC и ИИ: разные рабочие нагрузки, общие проблемы
HPC и ИИ решают разные задачи, но сталкиваются со схожими проблемами, такими как поддержка тысяч процессоров, которые непрерывно обмениваются данными, синхронизация их работы и обеспечение их функционирования как единого целое.
В контексте HPC рассмотрим симуляцию молекулярной динамики, которая разделена на более мелкие домены. Каждый домен назначается графическому процессору, который независимо обрабатывает взаимодействия атомов и обменивается граничными данными с соседними доменами. Графические процессоры полагаются на коллективные операции MPI, такие как AllReduce и All-to-All, для синхронизации вычислений. Эти операции обмена создают дополнительные накладные расходы на связь, как показано на примере фиктивных атомов на Рисунке 1.
Рисунок 1. Обмен фиктивными атомами в решениях для распределенной динамики
ИИ усложняет задачу эксплуатации распределенных систем, особенно когда большие языковые модели (LLM) перерастают емкость памяти одного графического процессора. Модели должны быть распределены по кластеру графических процессоров с использованием методов параллелизма для разделения или репликации моделей между графическими процессорами, что сильно зависит от сетевого взаимодействия между ними:
Тензорный параллелизм разделяет отдельные слои модели и распределяет их веса по нескольким графическим процессорам. Конвейерный параллелизм разбивает нейронные слои модели на последовательные этапы и размещает их на нескольких графических процессорах для обработки наподобие конвейера. Параллелизм данных реплицирует рабочие нагрузки на нескольких графических процессорах, что позволяет одновременно обрабатывать пакеты данных для повышения пропускной способности обучения и инференса.
- Тензорный параллелизм разделяет отдельные слои модели и распределяет их веса по нескольким графическим процессорам.
- Конвейерный параллелизм разбивает нейронные слои модели на последовательные этапы и размещает их на нескольких графических процессорах для обработки наподобие конвейера.
- Параллелизм данных реплицирует рабочие нагрузки на нескольких графических процессорах, что позволяет одновременно обрабатывать пакеты данных для повышения пропускной способности обучения и инференса.
Существует явное сходство между сетевыми технологиями HPC и ИИ. Обмены данными в HPC и коммуникации при тензорном параллелизме в ИИ зависят от базовой сети и требуют малой задержки, высокой пропускной способности, механизмов контроля перегрузки и стабильной производительности на разных узлах.
Это слияние является стимулом для усилий по объединению высокопроизводительного Ethernet, RDMA поверх конвергентного Ethernet и конструкций на базе шин (rail-based), передовых методов балансировки нагрузки, многопутевого надежного соединения (Multipath Reliable Connection, MRC), маршрутизации на основе исходного адреса SRv6, а также разработке нативного транспорта, т. е. Ultra Ethernet.
От архитектурной теории к реальной валидации
Мы проводим практические тесты производительности HPC в нашей Лаборатории инноваций в сетевых технологиях ИИ (AI Networking Innovation Lab) в Калифорнии. Наши команды постоянно тестируют проекты и оптимизируют параметры, чтобы гарантировать исключительную производительность сетевой фабрики для реальных рабочих нагрузок HPC/ИИ в распределенных кластерах. Тестовая среда включает в себя:
Воспроизводимый многоузловой стенд: мы используем несколько узлов с восемью графическими процессорами, каждый из которых оснащен выделенными сетевыми адаптерами (NIC), работающими под управлением RoCEv2. Согласованные образы контейнеров NVIDIA NGC поддерживают повторяемость тестов на разных узлах. Многоуровневый набор тестов: наша цель — обеспечить работу каждого уровня на оптимальной мощности. Мы проводим бенчмаркинг с использованием нескольких различных рабочих нагрузок: OSU Micro-Benchmarks, которые обеспечивают тесты задержки и пропускной способности точка-точка для коллективных операций; HPCG, широко используемый в сообществе TOP500 для ранжирования суперкомпьютеров на основе перемещения данных; GROMACS, используемый для приложений бенчмаркинга молекулярной динамики для симуляции движений белков; LAMMPS, широко используемый для классической декомпозиции доменов в материаловедении.
- Воспроизводимый многоузловой стенд: мы используем несколько узлов с восемью графическими процессорами, каждый из которых оснащен выделенными сетевыми адаптерами (NIC), работающими под управлением RoCEv2. Согласованные образы контейнеров NVIDIA NGC поддерживают повторяемость тестов на разных узлах.
- Многоуровневый набор тестов: наша цель — обеспечить работу каждого уровня на оптимальной мощности. Мы проводим бенчмаркинг с использованием нескольких различных рабочих нагрузок: OSU Micro-Benchmarks, которые обеспечивают тесты задержки и пропускной способности точка-точка для коллективных операций; HPCG, широко используемый в сообществе TOP500 для ранжирования суперкомпьютеров на основе перемещения данных; GROMACS, используемый для приложений бенчмаркинга молекулярной динамики для симуляции движений белков; LAMMPS, широко используемый для классической декомпозиции доменов в материаловедении.
- OSU Micro-Benchmarks, которые обеспечивают тесты задержки и пропускной способности точка-точка для коллективных операций
- HPCG, широко используемый в сообществе TOP500 для ранжирования суперкомпьютеров на основе перемещения данных
- GROMACS, используемый для приложений бенчмаркинга молекулярной динамики для симуляции движений белков.
- LAMMPS, широко используемый для классической декомпозиции доменов в материаловедении.
Мы провели стресс-тестирование фабрики с помощью HPCG, который задействует операции с разреженными матрицами и рабочие нагрузки с интенсивным использованием памяти. В нашем тестовом стенде масштабирование HPCG с одного узла с восемью графическими процессорами до двух узлов с 16 графическими процессорами увеличило совокупную пропускную способность примерно с 5,49 до 10,0 Тфлопс, что означает улучшение в 1,82 раза или примерно 91% эффективности масштабирования при сравнении этих двух узлов.
Результаты LAMMPS показывают влияние настройки связи. При использовании 16 графических процессоров NVIDIA H200 на двух узлах, соединенных через сетевую фабрику Ethernet Nokia 7220 IXR-H5 с использованием RoCEv2, пропускная способность приложения для симуляции с 2,048 миллионами атомов выросла с 821 до 1105 шагов по времени в секунду — почти на 34%. Мы сохранили вычислительные ресурсы неизменными и улучшили производительность, изменив способ доступа коммуникаций MPI и UCX к сетевым интерфейсам.
Рабочие нагрузки HPC и AI стимулируют инновации в сетевых топологиях, таких как конфигурации на основе рельсов (rail-based), которые организуют подключение так, чтобы графические процессоры (GPU) и связанные с ними сетевые интерфейсы (NIC) могли обмениваться данными параллельно через соответствующие участки фабрики. Универсальной сетевой топологии не существует. Хотя некоторые топологии поддерживают меньшее количество переходов (hops) или большее количество путей равной стоимости, идеальный выбор зависит от шаблонов трафика и требований конкретного приложения.
Пиковая пропускная способность — это только начало
Эволюция центров обработки данных была впечатляющей: от соединения портов между двумя конечными точками до соединения приложений через API и, наконец, соединения интеллекта. Поскольку HPC и AI переопределяют ландшафт центров обработки данных, более высокие скорости становятся массовыми. Следующий рубеж высокопроизводительных сетей включает 1.6T, RoCEv2 и функции Ultra Ethernet, такие как обрезка пакетов (Packet Trimming) и сигнализация о перегрузке (CSIG), которые отвечают требованиям рабочих нагрузок беспрецедентными способами.
Наш опыт бенчмаркинга преподал нам важный урок создания сетей для высокопроизводительных вычислений. Более быстрые сетевые интерфейсы и увеличение пропускной способности коммутаторов имеют важное значение. Но нам также необходимо понимать, как общаются приложения, как трафик перемещается по топологии и насколько эффективно сеть поддерживает распределенные вычисления.
В ходе бенчмаркинга мы глубже поняли, как распределенные вычислительные ресурсы обмениваются данными с использованием MPI, и как локальность GPU-to-NIC, сходство NUMA и многорельсовые конфигурации влияют на их взаимодействие с фабрикой. Цель состоит в том, чтобы объединить производительность на уровне приложений и сетевую телеметрию, сопоставив метрики, использование GPU с перегрузкой фабрики, использованием интерфейсов, разметкой ECN и поведением маршрутизации.
Исследовательская группа университета может измерять время симуляции; корпоративная команда AI может отслеживать время обучения. Обеим сторонам необходимы доказательства на уровне приложений.
Соединение интеллекта в Nokia
Nokia сосредоточена на воплощении этих архитектурных принципов в практичные, отказоустойчивые и высокопроизводительные сети Ethernet для рабочих нагрузок AI и HPC. Наше портфолио для центров обработки данных, включая Nokia SR Linux и Nokia Event-Driven Automation, объединяет масштабируемый дизайн фабрики, глубокую видимость сети и упрощенные операции. Цель состоит в том, чтобы построить фабрики HPC и AI, в которых производительность измеряется тем, как быстро пакеты перемещаются по сети и насколько эффективно сеть обеспечивает распределенные вычисления.
Хотите узнать больше? Посетите стенд Nokia на выставке Supercomputing 2026, чтобы пообщаться с нашими экспертами по сетям для HPC и AI.
Об авторе: Мохаммад Заман (Mohammad Zaman)
Мохаммад Заман — инженер по консалтингу ЦОД в компании Nokia с более чем десятилетним опытом работы в области IP-сетей, архитектуры центров обработки данных и сетевой программируемости. Он специализируется на проектировании масштабируемых, высокопроизводительных фабрик центров обработки данных AI и сетевых архитектур, поддерживающих крупномасштабные кластеры GPU, распределенное обучение AI, инференс и рабочие нагрузки высокопроизводительных вычислений (HPC). Его техническая экспертиза охватывает оптимизацию GPU и коллективных коммуникаций, RCCL/NCCL, BGP EVPN, Segment Routing, RoCEv2 и продвинутые механизмы управления перегрузками, включая ECN и PFC.
Его работа сосредоточена на проектировании, валидации и бенчмаркинге инфраструктуры AI/HPC с практическим опытом оценки производительности кластеров GPU с использованием распределенного обучения AI, инференса и рабочих нагрузок научных вычислений. Он особенно увлечен сопоставлением поведения сети с производительностью приложений AI/HPC, оптимизацией эффективности фабрики и использованием сетевой автоматизации, программируемости и наблюдаемости для создания отказоустойчивых и операционно эффективных центров обработки данных.
