Масштабирование вверх: Жидкостное охлаждение для стоек с более высокой плотностью

Воздушное охлаждение хорошо служило центрам обработки данных десятилетиями. Но по мере роста плотности стоек под нагрузками ИИ инфраструктура, спроектированная исключительно вокруг воздуха, достигает своих практических пределов.

Когда Nvidia отгрузила GB200 NVL72, она не просила центры обработки данных адаптироваться. Она потребовала жидкостное охлаждение в качестве базовой спецификации. Хвост сервера перестал вилять собакой центра обработки данных, поскольку стойки Blackwell GB300 достигли мощности до 140 кВт к концу 2025 года. Стойки Vera Rubin NVL72 прогнозируются на уровне 230+ кВт в 2026 году. Rubin Ultra ожидается, что превысит 600 кВт в 2027 году. Google раскрыла 1 MW rack design на саммите OCP EMEA 2025 года.

Тепловой предел воздушного охлаждения — примерно 30–40 кВт на стойку — значительно отстает от текущей траектории, поэтому постепенные обновления не являются стратегией. Это становится обузой, сдерживающей способность организации масштабировать свою инфраструктуру и удовлетворять потребности современного мира ИИ.

Прямое жидкостное охлаждение (DLC) перешло из нишевых сред суперкомпьютеров в массовое производство. То, что было амбициозно в 2023 году, сегодня является базовой спецификацией для рабочих нагрузок ИИ, и к 2026 году оно станет минимальным требованием для еще более плотных развертываний GPU. Глобальный рынок DLC, оцениваемый в более чем 5 миллиардов долларов в прошлом году, прогнозируется достичь более 20 миллиардов долларов к 2029 году. Направление определено. Теперь вопрос заключается в исполнении.

Чип мощностью 700 Вт выделяет примерно столько же тепла, сколько небольшой обогреватель — упакованный в что-то размером с вашу ладонь. Чипы мощностью 1000 Вт и более находятся в ближайшей перспективе. Серверные стойки для ИИ и МЛ, которые ранее потребляли 5–10 кВт, теперь routinely превышают 40–100 кВт. При мощности 100 кВт одна стойка вырабатывает более 340 000 БТЕ в час, что примерно эквивалентно коммерческой кухне на полной мощности.

Упаковка такого объема вычислений — больше GPU, CPU, XPU, сетевых интерфейсных карт, всего большего — в уменьшающееся пространство уменьшает запас охлаждения и концентрирует тепло в горячих точках, которых воздушный поток не может легко достичь или управлять. Порог воздушного охлаждения 30–40 кВт больше не является ориентиром. В качестве меры безопасности тепловое дросселирование непосредственно снижает производительность вычислений, уменьшая время отклика и объем задач в секунду.

Эффективность использования энергии (PUE) ухудшается, когда необходимые накладные расходы на охлаждение превышают вычислительный вывод. Небольшие модернизации объектов устраняют симптомы, но не могут решить проблему масштабирования, представленную инфраструктурой ИИ. Емкость охлаждения жидкость-воздух ограничена потреблением энергии стойки и по-прежнему зависит от окружающего воздуха объекта для eventual перенаправления тепла наружу. Большую часть времени этот метод использует испарительные башни, которые являются огромными потребителями воды объекта.

Теплоемкость воды примерно в 3500 раз больше, чем у воздуха на единицу объема. DLC переносит тепловую энергию от горячих компонентов, обеспечивая более высокую плотность вычислений при снижении общего энергопотребления объекта. Для гиперскейлеров и колокаций, сталкивающихся с ограниченной емкостью сети, эта эффективность не является будущей выгодой; она уже является существенной операционной необходимостью.

Аргументы в пользу DLC не могут быть более очевидными. Однако его реализация в гипермасштабе — совсем другое дело.

Три подхода к жидкостному охлаждению в настоящее время находятся в активном развертывании и будут продолжать развиваться по мере зрелости продуктов для охлаждения центров обработки данных.

1. Однофазное DLC

В однофазном прямом жидкостном охлаждении хладагент циркулирует через холодные пластины, установленные непосредственно на высокопроизводительных чипах и коммутаторах, поглощая тепло от этих электронных компонентов и перенося его в блок распределения хладагента (CDU). Эти замкнутые системы непрерывно рециркулируют хладагент. Хладагент остается жидким на протяжении всего процесса.

Однофазное DLC совместимо с средами brownfield и следующего поколения центров обработки данных, поскольку установка является наименее сложной из трех подходов. Оно может быть высокоэффективным, с несколькими поставщиками, такими как Mikros Technologies, компания Jabil, способной охлаждать чипы до 5000+ Вт в однофазных приложениях. Для подавляющего большинства текущих и ближайших TDP чипов (тепловая проектная мощность) однофазное DLC обеспечивает достаточный тепловой запас без сложности инфраструктуры альтернативных подходов.

2. Двухфазное DLC

Аналогично, двухфазное охлаждение использует холодную пластину, часто называемую испарителем, установленную непосредственно на электронике. Жидкий хладагент поступает в холодную пластину, поглощая тепло и кипя его в пар, который затем охлаждается в конденсаторе и циркулирует. В этих замкнутых системах хладагент проходит через две фазы, переходя из жидкого состояния в газообразное и обратно в жидкое. Фазовый переход поглощает больше энергии на единицу хладагента по сравнению с большинством однофазных решений.

На практике термодинамические преимущества становятся операционно значимыми при тепловых плотностях, превышающих те, которые производят текущие чипы и архитектуры следующего поколения. Инфраструктура двухфазного охлаждения более сложна и дорога, а разрыв в зрелости инженерных решений между ней и однофазным остается значительным. По мере увеличения TDP чипов за текущие пороги, двухфазное охлаждение найдет свое применение; для сегодняшних развертываний оно является будущим рассмотрением для большинства организаций, а не текущим требованием.

3. Погружное охлаждение

Погружное охлаждение остается нишевым, составляя меньшинство установок. Оно предполагает погружение целых стоек, включая чипы, в непроводящую жидкость, которая одновременно отводит тепло от всех компонентов. Однако операционные проблемы с такой установкой значительны. Совместимость материалов, процедуры обслуживания оборудования, управление жидкостью, дополнительные протоколы безопасности, обучение персонала и управление рисками все вступают в игру при погружном охлаждении. Химия диэлектрической жидкости не полностью стандартизирована, и подход часто ограничивает пользователей обязательством перед одним поставщиком.

Для зеленых полей строительства с конкретными профилями рабочих нагрузок погружное охлаждение стоит оценивать, и некоторые операторы комбинируют его с прямыми к чипу холодными пластинами в гибридные конфигурации, которые повышают эффективность ванны и локальное тепловое управление. Он остается специализированным путем, а не стандартным для большинства.

Системы охлаждения жидкость-жидкость становятся стандартом для новых высокоплотных построек, поскольку они способны справляться с плотностью стоек, превышающей 100 кВт, значительно снижая воздействие на окружающую среду. Эти решения решают растущую проблему «вода-энергия» за счет обеспечения замкнутого контура отвода тепла, который может практически полностью устранить огромное потребление воды, связанное с традиционными испарительными башнями охлаждения.

Выбор правильного подхода решает тепловую проблему. При правильном выполнении это также является ключевым шагом к улучшению PUE и достижению целей устойчивого развития.

Мы находимся в разгаре бума строительства центров обработки данных, и объекты brownfield по-прежнему являются наиболее распространенными. Блоки CDUs жидкость-воздух, являющиеся вариантом по умолчанию для модернизированных объектов, могут продлить срок службы существующей инфраструктуры воздушного охлаждения, но в конечном итоге они представляют собой краткосрочное решение. Они не решают основную проблему удаления тепла, и модернизация станет нежизнеспособной по мере дальнейшего увеличения плотности стоек.

Для достижения значительных улучшений PUE необходимо с самого начала проектировать интеграцию жидкостного охлаждения в тесном сотрудничестве с технологическими партнерами по всей экосистеме — от производителей чипов и серверных OEM до поставщиков инфраструктуры и систем охлаждения technology partners. По данным исследования McKinsey McKinsey research, мощность дата-центров, вероятно, утроится к 2030 году. Для удовлетворения этого спроса инженерам необходимо уже сейчас думать о масштабируемых, готовых к жидкостному охлаждению архитектурах, а не накладывать постепенные исправления на устаревшие конструкции.

Например, проектирование совместимой с оптикой упаковки (CPO) с DLC с самого начала жизненного цикла продукта помогает обеспечить энергоэффективность за счет индивидуального дизайна co-packaged optics (CPO). По мере увеличения плотности трансиверов с скорости 800 Гбит/с — где модули уже потребляют 15–20 Вт каждый — до 1,6 Тбит/с, 3,2 Тбит/с и выше, жидкостное охлаждение на уровне оптики становится базовым требованием. Дата-центры с тысячами трансиверов несут нарастающую тепловую нагрузку, которую жидкостное сетевое охлаждение и коммутаторы могут устранить напрямую, устранив рядные воздушные охладители и снизив общую нагрузку на охлаждение объекта.

Также растет импульс к стандартизации по всем аспектам: коллекторам, химии охлаждающей жидкости, интерфейсам CDU, разъемам и спецификациям охлаждающей жидкости. Проект Open Compute работает с отраслью над согласованием общих стандартов, которые упрощают интеграцию систем и долгосрочную эксплуатацию Open Compute Project. Стандартизация снижает сложность обслуживания, улучшает ремонтопригодность и взаимозаменяемость компонентов. Она также позволяет более предсказуемо обеспечивать мощность, тепловой режим и надежность в больших масштабах.

Работа при более высоких температурах на входе является наиболее значимым фактором для улучшения PUE. Системы охлаждения, разработанные для более высоких температур охлаждающей жидкости на входе, означают, что чиллеры работают меньше или полностью обходятся сухими охладителями или свободными охладителями, которые используют внешний воздух. Жидкостное охлаждение чипов и коммутаторов устраняет необходимость в рядном охлаждении, что значительно снижает общую нагрузку на воздушное охлаждение на уровне объекта.

Сознательное мышление о проектных спецификациях — единственный способ эффективно масштабироваться и уравновесить траекторию потребления энергии.

Жидкостное охлаждение, безусловно, является будущим современной инфраструктуры дата-центров. Проблема заключается не в самой технологии, а в ее надежном внедрении в гипермасштабах, по всему объекту и в реальных операционных условиях. Именно здесь начинается настоящая сложность и где большинство технических спецификаций перестают быть полезными.

В настоящее время нет отраслевых стандартов тестирования, но они будут введены. В их отсутствие инженеры, производители и интеграторы должны разрабатывать независимые протоколы тестирования.

Без общей спецификации, особенно в отношении чистоты испытательного стенда, эта несогласованность создает эффект распространения:

• Нет стандартного протокола фильтрации или чистоты стенда.
• Нет общих методов валидации герметичных систем.
• Нет общего базового уровня того, что считается успешным тестом.

В целом, микроканальные холодные пластины с размерами каналов 160 мкм или меньше уязвимы к засорению. Кроме того, любое загрязнение, внесенное во время тестирования, напрямую переносится в внедренные системы. Вот почему Mikros Technologies производит и валидирует свои микроканальные холодные пластины размером 160 и 80 мкм в соответствии со стандартами чистоты, которые требует ее собственная микроканальная геометрия. Широкая индустрия еще не достигла согласия по этим стандартам тестирования.

Mikros Technologies идет дальше, внедряя надежность в конструкцию холодной пластины, а не рассматривая ее как результат тестирования на выходе. Эти микроканальные холодные пластины тщательно обрабатываются и соединяются с помощью вакуумной паяльной печи. Процесс низкого давления и высокой чистоты устраняет загрязнение флюсом и создает прочные, герметичные соединения, хорошо подходящие для долгосрочной эксплуатации в требовательных тепловых условиях.

Кроме того, для валидации целостности на молекулярном уровне холодные пластины проходят тестирование на герметичность с помощью гелия. Молекулы гелия меньше молекул воды и других жидких охлаждающих жидкостей, что делает этот подход исключительно чувствительным индикатором герметичности перед внедрением.

Если протоколы валидации холодных пластин не выполняются эффективно, нет надежного способа узнать, выдержит ли оборудование внедрение. Это делает устранение неполадок практически невозможным. Кроме того, серверы AI увеличивают риск. В отличие от традиционной инфраструктуры, они не деградируют плавно под тепловой нагрузкой; они отключаются немедленно. CDU должны быть адекватно размерены и иметь резервное питание. Операторы должны балансировать между избыточностью CDU, стоимостью и радиусом воздействия сбоя: меньшее количество CDU снижает сложность, но увеличивает масштаб любого отдельного сбоя.

Цепочки поставок жидкостного охлаждения быстро развиваются, и такие поставщики, как Vertiv и Schneider Electric, предлагают полные модульные решения, которых не существовало несколько лет назад. Но модульность не означает plug-and-play. Решения об интеграции принимаются на раннем этапе проекта, чтобы определить, будут ли эти решения работать в гипермасштабах или создадут узкие места в будущем.

Одно дело иметь технические знания о жидкостном охлаждении. Другое — внедрить его с производственной дисциплиной и строгостью в гипермасштабах. В мире существует всего несколько партнеров с опытом производства в больших масштабах и необходимой глубиной для надежного производства серверов с жидкостным охлаждением. Jabil — один из них, способный к полной интеграции от холодной пластины до цикла объекта, с возможностями инженерии, дизайна и разработки.

Большинство отрасли рассматривают жидкостное охлаждение как модернизацию объекта, выбор CDU или механическую дизайнерскую задачу. Такое представление недооценивает, где на самом деле происходят сбои при внедрении. Жидкостное охлаждение становится жизнеспособным для дата-центров AI только тогда, когда оно является производимым, тестируемым, внедряемым и обслуживаемым в гипермасштабах. Разрыв между «это работает в лаборатории» и «мы можем внедрить 100 000 таких систем по всему миру» — это то место, где большинство решений не справляются.

Приобретение Mikros Technologies компанией Jabil привносит патентованную интеллектуальную собственность микроканальных холодных пластин в полный производственный потенциал. Платформа Mikromatrix от Mikros Technologies использует одностороннее прямое жидкостное охлаждение, которое может быть адаптировано для двухфазных приложений охлаждения. Ее архитектура включает прямоугольный массив микроканалов, ориентированных перпендикулярно поверхности, которая охлаждается, что максимизирует площадь контакта охлаждающей жидкости внутри холодной пластины для эффективного отвода тепла. Конструкция обеспечивает равномерное распределение охлаждающей жидкости и позволяет осуществлять целевое охлаждение, соответствующее тепловым картам процессора. Это контрастирует с параллельными потоковыми или ребристыми конструкциями, которые создают падения давления и неравномерные температурные градиенты.

Микроканалы размером 160 микрон или меньше, тонкие профили, оптимизированные для 1U, и доля пустот от 30 до 50% объема холодной пластины обеспечивают тепловой поток, превышающий 1000 Вт на квадратный сантиметр, с практически нулевым температурным дифференциалом по поверхности активного кристалла. Зональное охлаждение адаптирует скорость потока к реальным тепловым картам: больше охлаждающей жидкости подаётся к высокоплотным вычислительным ядрам мощностью 300–500 Вт/см², меньше — там, где тепловые нагрузки ниже, что позволяет снизить энергию на перекачку.

Broadcom's 3.5D XDSiP платформа — один из примеров того, где эта технология уже готова к применению. Разработанный для гигаваттных кластеров ИИ, 3,5D XDSiP сочетает в себе 2,5D и 3D-IC интеграцию, обеспечивая 7-кратное увеличение плотности межсоединений и 10-кратное снижение энергопотребления между кристаллами. При TDP 5000 Вт платформа требует точного охлаждения на уровне чипа в профиле 1U. Холодная пластина от Mikros Technologies обеспечивает необходимое тепловое сопротивление, чтобы поддерживать работу кремния на полной мощности в высокоплотных стеллажных системах.

Этот IP важен. То, что делает его пригодным для использования в гипермасштабных системах, — это производственная инфраструктура, стоящая за ним: совместная разработка холодных пластин, коллекторов, серверных корпусов и стеллажных систем; заводское давление, проверка на герметичность и тепловая валидация; стандарты надежности автомобильного класса; и сквозная прослеживаемость. Jabil также работает с поставщиками и стандартизирует интеграцию, не диктуя выбор компонентов — нейтральность экосистемы без привязки к поставщику. Когда клиенты переходят к гипермасштабным системам, эта инфраструктура уже доказала свою эффективность.

Совместная разработка жидкостного охлаждения с вычислительными системами, а не его доработка впоследствии, снижает сложность интеграции, уменьшает стоимость системы и ускоряет циклы развертывания. Это также готовит операторов к предстоящим изменениям, поскольку поколения кремниевых чипов ИИ меняют требования к охлаждению быстрее, чем это предусмотрено большинством инфраструктурных дорожных карт.

Современные чипы — это не тепловой потолок. Следующими будут жидкостное сетевое охлаждение, интегрированный кремний и оптика. Операторы и производители, которые рассматривают жидкостное охлаждение как основополагающее инфраструктурное решение, а не как апгрейд оборудования, выиграют в вычислительной гонке.

Кривая плотности не выравнивается. Единственная переменная — это то, опережает ли ваша инфраструктура её или отстает.

Как Jabil может помочь вам достичь ваших целей в области жидкостного охлаждения? Свяжитесь с нами.

Независимо от сложности или требовательности проекта, команда интеллектуальной инфраструктуры Jabil помогает сегодняшним инноваторам решить его. Начните работать с надёжным партнёром.