Новый рубеж для AI-фреймворков: масштабирование через сети

Поскольку рабочие нагрузки обучения ИИ и передовой модели продолжают свой экспоненциальный рост для поддержки триллионов параметров и миллионов ИИ-ускорителей, наступает суровая реальность. Ограничения физического пространства и ограниченная доступность энергии становятся дефицитом. Это вводит новое измерение прагматической реальности для перехода от централизованных вертикальных стеков к горизонтально распределенным масштабируемым через сети AI-фреймворкам. По сути, масштабирование через сети преобразует дальнее расширение локального кластера ИИ с масштабированием вверх и масштабированием наружу для достижения высокой плотности вычислений в разных географиях.

Масштабирование через сети с 7800 AI Spine

Дефицит вычислительной мощности и мегаватт энергии требует, чтобы ИИ-инфраструктура была продуманно спроектирована в масштабе. Платформа Arista 7800 продолжает оставаться идеальным флагманским spine для приложений масштабирования через сети, обеспечивая изоляцию трафика, контекстную маршрутизацию и безопасность. Инновации масштабирования через сети ИИ предоставляют множество функций коммутации L2/L3 для программируемой, детерминированной маршрутизации, многоуровневой передачи SRv6, инженерии трафика мультитенантности и балансировки нагрузки между регионами, способных обеспечивать практически мгновенное (десятки мкс) восстановление в случае временной перегрузки, потери пакетов или физического сбоя кластеров ИИ, независимо от местоположения. Она использует SRv6, или сегментную маршрутизацию, которая не нова, но ее использование для балансировки нагрузки ИИ-фреймворка меняет правила игры. В SRv6 отправитель помечает каждый пакет стеком идентификаторов сегментов SRv6, задавая точный путь, который пройдет пакет. Затем система использует сигнализацию о перегрузке в реальном времени для динамического перенаправления пакетов от горячих точек. Используя надежную, совместно используемую Arista EOS как единую объединенную операционную систему, этот интеллект SRv6 поддерживается от ткани масштабирования наружу до дальней маршрутизации масштабирования через сети. Наши клиенты теперь получают сочетание высокого масштаба/производительности, надежности и операционной строгости, за которые известна Arista, при подключении к различным формам когерентной оптики, таких как ZR/ZR+ и DWDM-транспорт.

Надежная многосайтовая высокопроизводительная основа

Расширение вычислительной ткани ИИ по распределенным географиям — это не просто вопрос обеспечения стандартного канала межцентрового взаимодействия (DCI). Рабочие нагрузки ИИ требуют массивных, высокосинхронизированных и пульсирующих коллективных потоков коммуникации. Если дальние коммуникации не спроектированы явно для этих паттернов, это становится структурным узким местом, которое серьезно снижает производительность ИИ. ИИ-ткани масштабирования через сети спроектированы не только для оптимизации производительности в лучших сценариях, но и для граcious реакции, когда планы идут не так, и обеспечения высоконадежной, безопасной и некомпромиссной коммуникации, как показано на Рисунке 1 ниже.

Рисунок 1: Arista Scale-Across основан на фундаментальных принципах некомпромиссного масштаба, безопасности и надежности

Типичная сеть ИИ масштабирования через сети спроектирована для надежной, последовательной, без потерь передачи пакетов, в сочетании с аналитикой в реальном времени для измерения и проверки производительности. Это означает оптимизацию для последовательно низкой сквозной задержки, с интеллектуальной инженерией трафика для направления рабочих нагрузок на локальные или удаленные сайты, одновременно включая страхование буферизацию для защиты задержки путем избегания потери пакетов во время временной перегрузки. Масштабирование через сети строится на принципе «надеемся на лучшее, но готовимся к худшему» в требовательных сетях ИИ.

«REACH» с тканями масштабирования через сети

Arista обеспечивает оптимизированные ткани масштабирования через сети, которые расширяют REACH для рабочих нагрузок ИИ через комбинацию фундаментальных принципов, которые вместе предоставляют необходимый набор функций для операторов ИИ, проектирующих для последовательного масштаба, производительности и доступности. Эксплуатация дальних, масштабируемых через сети сетей без защиты глубокой буферизации пакетов подобна езде на велосипеде с крутого холма без шлема. Решение Arista REACH для тканей ИИ масштабирования через сети включает:

• Интеллект маршрутизации: Современные ткани ИИ требуют интеллекта маршрутизации модели ИИ в масштабе для обработки ARP, FIB и ACL. Ткань должна активно понимать профили задержки и пропускной способности ваших заданий обучения, интеллектуально направлять рабочие нагрузки для оптимизации размещения между локальными и удаленными доменами. Если вы объединяете распределенные вычислительные ресурсы, сеть масштабирования через сети требует надежного разделения сервисов для обеспечения приоритизации и контроля политик на уровне арендатора.
• Шифрование: Как только трафик рабочей нагрузки ИИ покидает пределы и безопасность вашего локального центра обработки данных, он становится уязвимым для посторонних глаз и злоумышленников. Защита тканей масштабирования через сети с проводной скоростью, аппаратным шифрованием, встроенным нативно в каждый порт с нулевой деградацией производительности, должна быть повсеместной.
• Аналитика и доступность: Наблюдаемость с учетом рабочей нагрузки и доступность — это две стороны одной медали для интенсивного трафика ИИ. Необходимость видимости в реальном времени в порты, очереди пакетов, потоки, использование буфера и задержку пути по всей ткани ИИ масштабирования через сети подтверждает производительность в реальном времени. В то же время, когда XPU застревает, немедленное понимание первопричины, а также немедленное восстановление сети с помощью SSU (Smart System Upgrades) приводит к замкнутой системе восстановления до того, как время завершения задания обучения будет затронуто.
• Защита от перегрузки: Интеллектуальные функции для избежания перегрузки сочетаются с продвинутыми протоколами восстановления и иерархической глубокой буферизацией пакетов для избежания потери пакетов, когда перегрузка происходит. Потеря пакетов имеет гораздо большее негативное влияние на чистое время завершения задания (JCT), чем увеличенная задержка от временной буферизации пакетов. Это базовое страхование задания (завершения). Это защищает от потери пакетов в аномальных сценариях для наименьшего JCT в глобальном масштабе.
• Высокая радиальность: Ткани масштабирования через сети требуют высокой плотности. Если локальная ткань масштабирования наружу может поддерживать до сотен тысяч XPU, ткани масштабирования через сети могут достичь редкого масштаба в 1 миллион XPU. Arista 7800 AI spines поднимаются на высоту, не только обеспечивая локальную емкость, но и бесшовно расширяя ткани ИИ до удаленных центров обработки данных. Коммутационные ткани 7800 гарантируют оптимальное справедливое распределение трафика между всеми портами, так что назначения масштабирования через сети являются полноправными гражданами наряду с локальными хостами, как показано на Рисунке 2.

Рисунок 2: Arista REACH для тканей ИИ масштабирования через сети

Резюме: Специализированная сеть для моделей ИИ

Не всякая маршрутизация создана равной. У устаревших маршрутизаторов много проблем с масштабом и временем восстановления/сходимости в минуты, что не соответствует требованиям современной маршрутизации моделей ИИ. Современная маршрутизация ИИ Arista изначально спроектирована для развертывания в масштабе ИИ/облака с использованием принципов специализированного программного обеспечения. Она использует мерчантный кремний, спроектированный для высокоскоростных, без потерь тканей ИИ с детализированными инсайтами в производительность ИИ и доступность ресурсов в реальном времени. Основываясь на нашей философии ОДНОЙ операционной системы (EOS) во всем портфолио Arista Etherlink AI для масштабирования вверх, масштабирования наружу и масштабирования через сети ИИ-тканей, сеть обеспечивает последовательную пропускную способность для высокого использования дорогостоящих вычислений. Масштабирование через сети спроектировано для доставки некомпромиссного масштаба, безопасности и надежности. Добро пожаловать в новый мир стратегии Arista scale-across REACH для глобального масштаба без компромиссов.

Ссылки

Белая книга по ИИ

Белая книга по масштабированию через сети

Руководство по решению для сети ИИ

Видео инноваторов