Для обучения ИИ-модели тысячи графических процессоров должны работать совместно, что требует быстрой, эффективной и отказоустойчивой сети.
Lambda решает сетевую задачу с помощью коммутаторов со встроенной оптикой (CPO) NVIDIA Photonics. Облачный провайдер использует эти коммутаторы для соединения racks with more than 10,000 GPUs, обеспечивая меньшее энергопотребление, более высокую отказоустойчивость и увеличенное среднее время между сбоями (MTBI) для масштабируемой ИИ-фабрики.
«Сети должны успевать за требованиями ко все более крупным ИИ-кластерам, — заявил Дэйв Уорд (Dave Ward), президент по облачным сервисам в Lambda. — Внедрение встроенной оптики в проект такого масштаба является важным шагом на пути к созданию инфраструктуры, необходимой для поддержки нового поколения искусственного интеллекта».
В ходе испытаний коммутаторов, проведенных компанией, сетевая задержка — время, необходимое для передачи данных — снизилась примерно на 4% на уровне стоек и примерно на 10% на уровне подов. Во всех конфигурациях стоек, масштабируемых модулей и подов сеть сохраняет ту же пропускную способность, что и традиционная подключаемая оптика.
Обеспечение энергоэффективности и отказоустойчивости в масштабе
Повышение энергоэффективности и отказоустойчивости имеет решающее значение, поскольку сеть находится в центре производительности ИИ-фабрики.
При выполнении масштабной задачи обучения один разорванный канал связи может остановить тысячи графических процессоров. При агентском выводе один сбой в сети может вызвать каскадные задержки для множества агентов. Каждое прерывание стоит времени, а каждый ватт, потраченный на сеть, — это ватт, недоступный для вычислений.
NVIDIA Photonics решает проблемы как энергоэффективности, так и отказоустойчивости. Заменяя подключаемые трансиверы оптическими микросхемами совместной компоновки на корпусе коммутатора, решение обеспечивает до 5 раз лучшую энергоэффективность и до 15 раз более высокую надежность по сравнению с традиционной подключаемой оптикой. В нем также используется в 4 раза меньше лазеров, что означает меньшее количество потенциально уязвимых компонентов.
Более холодная оптика и заменяемые источники света повышают отказоустойчивость
В инфраструктуре Lambda используются коммутаторы NVIDIA Photonics, каждый из которых оснащен 144 портами со скоростью 800 Гбит/с. Жидкостное охлаждение отводит тепло от чипа коммутатора и оптических модулей.
Компания сообщает, что средняя температура оптики составляет 36°С по сравнению с 51°С для традиционной подключаемой оптики, а ее тесты демонстрируют более стабильную целостность сигнала.
NVIDIA Photonics также переносит преобразование электрического сигнала в оптический ближе к чипу коммутатора. Каждый коммутатор имеет 18 съемных внешних источников света, которые подают свет на оптические модули. Оптические модули располагаются рядом с чипом на одном корпусе и преобразуют электрические сигналы в свет, который передает данные по оптоволокну между частями кластера.
Технические специалисты могут заменять модули источников света в полевых условиях, в отличие от традиционной подключаемой оптики, которая требует замены всего модуля в случае выхода лазера из строя.
Совместная компоновка сокращает электрический путь с дюймов до миллиметров, что уменьшает затухание сигнала. Она также устраняет необходимость в микросхемах повторной синхронизации (ретимерах), снижая как энергопотребление, так и количество деталей в сигнальном тракте.
Узнайте больше о NVIDIA Photonics и прочитайте объявление Lambda о развертывании.











