Обсуждения центров обработки данных для ИИ выходят за рамки обработки и памяти и переходят в сферу возможностей подключения. Для Nokia это подчеркивает ключевой момент эпохи ИИ: подключение — это не вспомогательный уровень, а основное требование к инфраструктуре ИИ. Это неудивительно, поскольку обработка данных ИИ все больше зависит от объединения большого количества XPU в еще более крупные кластеры. Согласно данным BNP Paribas, networking equipment accounts for an estimated $15 of every $100 invested in AI infrastructure. Тем не менее, когда я посещал Open Compute Project (OCP) Global Summit, меня поразил масштаб и глубина обсуждений оптических межмашинных соединений в центрах обработки данных.
Пропускная способность и энергопотребление имеют решающее значение для сетей внутри центров обработки данных и, как и ожидалось, стимулируют многие инициативы в сообществе OCP. Тем не менее, надежность, ремонтопригодность, технологичность и открытость экосистемы также привлекли значительное внимание на мероприятии. Эта более широкая перспектива приобретает все большее значение по мере роста внутренних сетей центров обработки данных, отражая тот факт, что жизнеспособное решение для подключения должно быть практичным в создании, развертывании и эксплуатации в рамках крупных инфраструктур ИИ.
Текущие варианты подключения внутри центров обработки данных можно резюмировать следующим образом: «медь там, где она работает; оптика там, где этого требуют расстояние, плотность, мощность или архитектура системы». Но поскольку радиус действия меди становится ограничивающим фактором по мере роста скоростей и систем, оптику все чаще рассматривают не только для сетей масштабирования (scale-out), но и для соединений расширения (scale-up). В оптических решениях для центров обработки данных наблюдается тенденция к физическому приближению оптических компонентов к коммутирующим полупроводникам и вычислительным модулям, однако текущие дискуссии не указывают на какое-то одно оптическое решение, способное решить все проблемы. Скорее, они демонстрируют непрерывный спектр подходов — от подключаемых модулей до оптики внутри коммутатора, — каждый из которых по-своему балансирует между пропускной способностью, энергопотреблением, ремонтопригодностью, надежностью, выходом годных изделий при производстве и поддержкой нескольких поставщиков.
Надежность наряду с мощностью выходит на передний план
Энергопотребление на бит остается критически важным показателем, однако обсуждения на саммите OCP ясно показали, что его нельзя рассматривать изолированно. Надежность, ремонтопригодность и возможности диагностики вносят свой вклад в эксплуатационную ценность архитектуры. Несколько участников поделились опытом работы в эксплуатационных средах, указав на факторы, варьирующиеся от человеческого фактора и загрязнения пылью до чувствительности к тепловым и экологическим колебаниям, а также риска возникновения проблем с разъемами и гнездами. Уровень интеграции также меняет модель отказов и потенциальное влияние отказа (радиус поражения). Например, общие лазеры или оптические двигатели могут поддерживать множество каналов, что делает резервирование, мониторинг и изоляцию сбоев важнейшими элементами проектирования.
Спектр подходов
Подключаемая оптика широко используется в средах с горизонтальным масштабированием и сохраняет свою высокую актуальность, предлагая возможность замены, зрелую модель эксплуатации и разнообразную экосистему поставщиков. Но подключаемые модули представлены во множестве вариантов, включая новые форм-факторы высокой плотности, такие как XPO и недавно анонсированный USFP, которые привлекают все больше внимания. В центре внимания также находятся различные архитектуры преобразования электрических сигналов в оптические, такие как полностью ретайминговая оптика (FRO), линейная приемная оптика (LRO) и линейная подключаемая оптика (LPO).
Поскольку от оптики требуется обеспечение более высокой плотности пропускной способности при низком энергопотреблении и сохранение целостности сигнала, особенно для масштабирования, отрасль выходит за рамки подключаемых модулей и приближает оптику к ASIC коммутатора. Для этого существует два подхода:
- Оптика в непосредственной близости от корпуса (Near-packaged optics, NPO), при которой оптические модули размещаются внутри коммутатора, вблизи ASIC коммутатора.
- Совмещенная корпусированная оптика (Co-packaged optics, CPO), которая более тесно интегрирует оптические модули в корпус ASIC.
За счет сокращения электрического пути между ASIC и оптикой NPO и CPO обеспечивают преимущества в энергоэффективности, плотности пропускной способности и целостности сигнала, хотя более тесная интеграция CPO также меняет требования к производству, надежности и управлению сбоями.
Эти подходы проиллюстрированы в виде спектра возрастающей оптической близости к ASIC:
FRO / LRO / LPO → NPO → CPO
Тем не менее, в нескольких презентациях подчеркивалось, что этот континуум не следует рассматривать как прямолинейное развитие, при котором каждое новое поколение вытесняет предыдущее. Скорее, каждый подход предлагает различные компромиссы с точки зрения расстояния, плотности, мощности, задержки, стоимости и сервисной модели с оптимальными областями применения.
Два аспекта привлекли мое внимание:
На скорости 800G линейная подключаемая оптика переходит от обещаний к практике. Производственный опыт укрепляет уверенность в концепции LPO, в которой цифровой сигнальный процессор (DSP) модуля удален, а целостность сигнала обеспечивается хост-ASIC. На саммите компании Oracle и Meta поделились обнадеживающими результатами развертывания 800G LPO в рабочих средах, продемонстрировав не только существенные преимущества в энергопотреблении, но и более высокую надежность соединений по сравнению с полностью ретайминговой оптикой. Появляется следующий рубеж для подключаемых трансиверов — 1600G, который удваивает скорость, но влечет за собой новые технические проблемы с точки зрения энергопотребления и целостности сигнала. Оптика в непосредственной близости от корпуса набирает обороты. Установленная в разъемы NPO привлекла внимание на саммите, поскольку она нацелена на объединение преимуществ близости с модульностью дискретного оптического модуля. Сокращение электрического пути между коммутирующим кремнием и оптикой помогает преодолеть ограничения по мощности и плотности пропускной способности. В то же время сохранение оптического модуля за пределами корпуса ASIC может обеспечить большую гибкость производства и ремонтопригодность, создавая при этом возможности для создания цепочки поставок с участием нескольких поставщиков. Стандартизированные электрические, оптические, механические, тепловые интерфейсы и интерфейсы управления будут иметь решающее значение, если решения NPO должны обеспечивать оперативную совместимость и выбор поставщиков. Я давно поддерживаю открытые сетевые технологии и экосистемы с участием многих поставщиков, поэтому я рад видеть такие инициативы, как Open CPX, определяющие стандартизированные модули в разъемах вблизи ASIC.
- На скорости 800G линейная подключаемая оптика переходит от обещаний к практике. Производственный опыт укрепляет уверенность в концепции LPO, в которой цифровой сигнальный процессор (DSP) модуля удален, а целостность сигнала обеспечивается хост-ASIC. На саммите компании Oracle и Meta поделились обнадеживающими результатами развертывания 800G LPO в рабочих средах, продемонстрировав не только существенные преимущества в энергопотреблении, но и более высокую надежность соединений по сравнению с полностью ретайминговой оптикой. Появляется следующий рубеж для подключаемых трансиверов — 1600G, который удваивает скорость, но влечет за собой новые технические проблемы с точки зрения энергопотребления и целостности сигнала.
Опыт промышленной эксплуатации укрепляет уверенность в концепции LPO, при которой цифровой сигнальный процессор (DSP) модуля исключается, а целостность сигнала обеспечивается хост-ASIC. На саммите компании Oracle и Meta поделились обнадеживающими результатами развертывания 800G LPO, продемонстрировав не только значительные преимущества в энергопотреблении, но и более высокую надежность соединения по сравнению с оптикой с полной ретайминговой обработкой. Следующий этап для подключаемых трансиверов — 1600G — уже на подходе: он удваивает скорость, но создает новые технические проблемы с точки зрения энергопотребления и целостности сигнала.
- Оптика в непосредственной близости от корпуса (NPO) набирает обороты. NPO с разъемами привлекла внимание на саммите, поскольку она призвана объединить преимущества близости к процессору с модульностью дискретного оптического движка. Сокращение электрического пути между коммутационным кремнием и оптикой помогает решить проблемы ограничений по мощности и плотности полосы пропускания. В то же время размещение оптического движка вне корпуса ASIC может обеспечить большую гибкость производства и ремонтопригодность, создавая возможности для многовендорной цепочки поставок. Стандартизированные электрические, оптические, механические, тепловые и управляющие интерфейсы будут иметь решающее значение, если решения NPO должны поддерживать интероперабельность и выбор поставщиков. Я давно поддерживаю открытые сетевые технологии и многовендорные экосистемы, поэтому я рад видеть такие инициативы, как Open CPX, определяющие стандартизированные движки с разъемами в непосредственной близости от ASIC.
NPO с разъемами привлекла внимание на саммите, поскольку она призвана объединить преимущества близости к процессору с модульностью дискретного оптического движка. Сокращение электрического пути между коммутационным кремнием и оптикой помогает решить проблемы ограничений по мощности и плотности полосы пропускания. В то же время размещение оптического движка вне корпуса ASIC может обеспечить большую гибкость производства и ремонтопригодность, создавая возможности для многовендорной цепочки поставок. Стандартизированные электрические, оптические, механические, тепловые и управляющие интерфейсы будут иметь решающее значение, если решения NPO должны поддерживать интероперабельность и выбор поставщиков. Я давно поддерживаю открытые сетевые технологии и многовендорные экосистемы, поэтому я рад видеть такие инициативы, как Open CPX, определяющие стандартизированные движки с разъемами в непосредственной близости от ASIC.
Внутренние или внешние лазеры?
Размещение источника лазерного излучения должно учитываться при реализации NPO и CPO, где оптика перемещается внутрь коммутатора. Для NPO выбор стоит между внутренними и внешними источниками лазерного излучения. Внутренние лазеры могут быть интегрированы (монолитно или иным способом) с модулятором на фотонной интегральной схеме (PIC) или включены в ту же оптическую сборку. Внутренние лазеры упрощают оптический интерфейс и могут снизить потери при оптической связи. Напротив, внешние лазерные источники обычно обеспечивают большую гибкость по оптической мощности, позволяют производить замену в полевых условиях и их легче изолировать от высоких и меняющихся температур вокруг ASIC. Однако они требуют дополнительных соединений и связанных с ними потерь, требуют больше волоконной инфраструктуры и разъемов, а также занимают место на передней панели коммутатора.
Дискуссии на OCP Summit подтвердили, что ни один из подходов не является универсально предпочтительным. Каждый из них по-разному влияет на охлаждение, прокладку волокна, ремонтопригодность и изоляцию неисправностей. Предпочтительное решение зависит от общей архитектуры системы и эксплуатационных приоритетов, что усиливает позиции поставщиков технологий, способных предложить оба подхода.
Множество фотонных платформ остаются в игре
Потребность в разнообразии была постоянной темой саммита, распространяясь на базовые фотонные платформы и материалы, на которых они основаны. Фосфид индия (InP), кремниевая фотоника (SiPh) и тонкопленочный ниобат лития (TFLN) обладают разными сильными сторонами. Их использование будет определяться системным мышлением, где успех зависит не только от производительности платформы, но и от интеграции, корпусирования, охлаждения и способности к масштабируемому производству.
Будущее связности ИИ требует большего, чем просто высокая пропускная способность и низкое энергопотребление. Потребуются оптические технологии, сочетающие эффективность и масштаб с надежностью, ремонтопригодностью и открытостью. Разговоры на мероприятии показали, что отрасль все активнее решает все эти задачи одновременно.
Для Nokia цель состоит не в том, чтобы объявить одну архитектуру, конфигурацию лазера или материальную платформу победителем. Цель — применить наш успешный опыт внедрения технологических инноваций в области оптической связи, полупроводниковых технологий и производства PIC для разработки ряда решений, которые помогут удовлетворить различные требования к энергопотреблению, надежности, ремонтопригодности, технологичности и открытости для связности центров обработки данных ИИ.
