Воздушное охлаждение десятилетиями успешно применялось в центрах обработки данных. Однако по мере роста плотности стоек из-за рабочих нагрузок ИИ инфраструктура, спроектированная исключительно на основе воздушного охлаждения, достигает своих практических пределов.
Когда Nvidia выпустила GB200 NVL72, она не просила центры обработки данных адаптироваться. Она потребовала жидкостное охлаждение в качестве базовой спецификации. Серверы перестали подстраиваться под возможности ЦОД, поскольку мощность стоек Blackwell GB300 к концу 2025 года достигнет 140 кВт. Прогнозируется, что в 2026 году мощность стоек Vera Rubin NVL72 составит 230+ кВт. Ожидается, что Rubin Ultra в 2027 году превысит показатель в 600 кВт. Google представила 1 MW rack design на саммите OCP EMEA 2025 года.
Тепловой предел воздушного охлаждения — примерно 30–40 кВт на стойку — настолько отстает от текущей траектории развития, что постепенные модернизации перестали быть эффективной стратегией. Это становится обузой, сдерживающей способность организации масштабировать свою инфраструктуру и удовлетворять потребности современного мира ИИ.
Прямое жидкостное охлаждение (DLC) перешло из нишевых суперкомпьютерных сред в основной сегмент производства. То, что казалось амбициозным в 2023 году, сегодня является базовой спецификацией для рабочих нагрузок ИИ, а к 2026 году станет минимумом даже для более плотных конфигураций GPU. Мировой рынок DLC, объем которого в прошлом году превысил 5 миллиардов долларов, по прогнозам, достигнет более 20 миллиардов долларов к 2029 году. Направление определено. Теперь вопрос заключается в реализации.
Чип мощностью 700 Вт выделяет столько же тепла, сколько небольшой обогреватель, при этом он размером с ладонь. В ближайшей перспективе появятся чипы мощностью 1000 Вт и более. Серверные стойки для ИИ и машинного обучения, которые раньше потребляли 5–10 кВт, теперь регулярно превышают показатели в 40–100 кВт. При 100 кВт одна стойка производит более 340 000 БТЕ в час, что примерно эквивалентно работе профессиональной кухни на полную мощность.
Размещение такого объема вычислительных мощностей — больше GPU, CPU, XPU, сетевых карт, всего больше — на ограниченной площади сокращает запас по охлаждению и концентрирует тепло в «горячих точках», которые воздушный поток не может легко охватить или контролировать. Порог воздушного охлаждения в 30–40 кВт больше не является ориентиром. В качестве меры безопасности тепловой троттлинг напрямую снижает производительность вычислений, увеличивая время отклика и уменьшая количество выполняемых задач в секунду.
Эффективность использования энергии (PUE) снижается, поскольку требуемые затраты на охлаждение опережают вычислительную мощность. Незначительная модернизация объектов устраняет симптомы, но не может решить проблему масштабирования, создаваемую инфраструктурой ИИ. Мощность жидкостно-воздушного охлаждения ограничена энергопотреблением стойки и по-прежнему зависит от окружающего воздуха в помещении для отвода тепла наружу. В большинстве случаев этот метод использует испарительные градирни, которые являются огромным потребителем технической воды.
Теплоемкость воды примерно в 3500 раз выше, чем у воздуха в пересчете на единицу объема. DLC отводит тепловую энергию от горячих компонентов, обеспечивая более высокую плотность вычислений при одновременном снижении общих энергозатрат объекта. Для гиперскейлеров и колокейшн-провайдеров, сталкивающихся с ограниченной мощностью электросетей, эта эффективность — не преимущество будущего, а существующая операционная необходимость.
Аргументы в пользу DLC очевидны. Однако реализация этого в гипермасштабе — совсем другое дело.
В настоящее время активно внедряются три подхода к жидкостному охлаждению, которые будут продолжать развиваться по мере совершенствования продуктов для охлаждения центров обработки данных.
1. Однофазное DLC
При однофазном прямом жидкостном охлаждении хладагент циркулирует через холодные пластины, установленные непосредственно на мощные чипы и коммутаторы, поглощая тепло от этих электронных компонентов и перенося его в блок распределения охлаждающей жидкости (CDU). Эти замкнутые системы постоянно рециркулируют хладагент. В процессе работы хладагент остается в жидком состоянии.
Однофазное DLC совместимо как с существующими, так и с инфраструктурами ЦОД следующего поколения, поскольку его установка является наименее сложной из трех подходов. Оно может быть высокоэффективным: некоторые поставщики, такие как Mikros Technologies, компания Jabil, способны охлаждать чипы мощностью более 5000 Вт в однофазных приложениях. Для подавляющего большинства текущих и перспективных значений TDP (расчетная тепловая мощность) чипов однофазное DLC обеспечивает достаточный тепловой запас без инфраструктурной сложности альтернативных подходов.
2. Двухфазное DLC
Аналогичным образом, двухфазное охлаждение использует холодную пластину, часто называемую испарителем, которая устанавливается непосредственно на электронику. Жидкий хладагент поступает в холодную пластину, поглощает тепло и закипает, превращаясь в пар, который затем охлаждается в конденсаторе и циркулирует дальше. В этих замкнутых системах хладагент проходит через две фазы, переходя из жидкости в газ, а затем обратно в жидкость. Фазовый переход поглощает больше энергии на единицу хладагента по сравнению с большинством однофазных решений.
На практике термодинамические преимущества становятся операционно значимыми при тепловых плотностях, превышающих те, что производят текущие чипы и архитектуры следующего поколения. Двухфазная инфраструктура более сложна и дорогостояща, а разрыв в инженерной зрелости по сравнению с однофазной остается значительным. По мере того как TDP чипов будут превышать текущие пороги, двухфазное охлаждение займет свою нишу; для современных развертываний это скорее вопрос будущего для большинства организаций, чем текущее требование.
3. Иммерсионное охлаждение
Иммерсионное охлаждение остается нишевым решением, на долю которого приходится меньшинство установок. Оно предполагает погружение целых стоек, включая чипы, в непроводящую жидкость, которая отводит тепло от всех компонентов одновременно. Однако операционные проблемы при такой настройке значительны. Совместимость материалов, процедуры обслуживания оборудования, управление жидкостью, дополнительные протоколы безопасности, обучение персонала и управление рисками — все это становится актуальным при иммерсионном охлаждении. Химический состав диэлектрической жидкости не полностью стандартизирован, и такой подход часто ограничивает пользователей привязкой к одному поставщику.
Для новых объектов с определенными профилями рабочих нагрузок иммерсионное охлаждение стоит рассмотреть, и некоторые операторы сочетают его с холодными пластинами прямого охлаждения чипов в гибридных конфигурациях, которые повышают эффективность ванны и локализованное управление тепловыми режимами. Это остается специализированным путем, а не стандартом для большинства.
Жидкостно-жидкостные системы охлаждения становятся стандартом для новых высокоплотных объектов, поскольку они могут справляться с плотностью стоек, превышающей 100 кВт, при значительном снижении воздействия на окружающую среду. Эти решения решают растущую проблему «взаимосвязи воды и энергии», обеспечивая замкнутый отвод тепла, что позволяет практически исключить огромное потребление воды, связанное с традиционными испарительными градирнями.
Выбор правильного подхода решает проблему теплоотвода. При грамотном выполнении это также является ключевым шагом к улучшению PUE и достижению целей устойчивого развития.
Мы находимся в разгаре бума строительства центров обработки данных, и существующие объекты по-прежнему преобладают. Жидкостно-воздушные CDU, вариант по умолчанию для модернизируемых объектов, могут продлить срок службы существующей инфраструктуры воздушного охлаждения, но в конечном итоге это краткосрочное решение. Они не решают фундаментальную проблему отвода тепла, и модернизация станет нецелесообразной по мере дальнейшего увеличения плотности стоек.
Достижение значительного улучшения PUE требует проектирования с учетом интеграции жидкостного охлаждения с самого начала, в тесном сотрудничестве с технологическими партнерами по всей экосистеме — от производителей чипов и OEM-производителей серверов до поставщиков инфраструктуры и систем охлаждения. Согласно исследованию McKinsey, к 2030 году емкость центров обработки данных, вероятно, утроится. Чтобы удовлетворить этот спрос, инженерам необходимо уже сейчас думать о масштабируемых архитектурах охлаждения, готовых к переходу на жидкостные системы, а не пытаться внедрять постепенные исправления в устаревшие проекты.
Например, проектирование совмещенной оптики (CPO) с использованием прямого жидкостного охлаждения (DLC) с самого начала жизненного цикла продукта помогает обеспечить энергоэффективность за счет индивидуальных конструкторских решений. По мере того как плотность трансиверов растет от скоростей 800 Гбит/с — где модули уже потребляют 15–20 Вт каждый — до 1,6 Тбит/с, 3,2 Тбит/с и выше, жидкостное охлаждение на уровне оптики становится базовым требованием. Центры обработки данных с тысячами трансиверов несут совокупную тепловую нагрузку, с которой могут напрямую справиться сетевое оборудование и коммутаторы с жидкостным охлаждением, что позволяет исключить внутрирядные воздушные охладители и снизить общую нагрузку на систему охлаждения объекта.
Также растет интерес к стандартизации коллекторов, состава охлаждающей жидкости, интерфейсов CDU, разъемов и спецификаций теплоносителей. Open Compute Project работает с представителями отрасли над согласованием общих стандартов, которые упрощают системную интеграцию и долгосрочную эксплуатацию. Стандартизация снижает сложность обслуживания, повышает ремонтопригодность и взаимозаменяемость компонентов. Она также обеспечивает более предсказуемые показатели энергопотребления, тепловых характеристик и надежности при масштабировании.
Работа при более высоких температурах на входе является наиболее значимым рычагом для улучшения PUE. Системы охлаждения, рассчитанные на более высокую температуру теплоносителя на входе, означают, что чиллеры работают меньше или полностью отключаются в пользу сухих охладителей или систем фрикулинга, использующих наружный воздух. Чипы и коммутаторы с жидкостным охлаждением устраняют необходимость во внутрирядном охлаждении, значительно снижая общую нагрузку на воздушное охлаждение на уровне объекта.
Осознанный подход к проектным спецификациям — единственный способ эффективно масштабироваться и противодействовать росту энергопотребления.
Жидкостное охлаждение — это, безусловно, будущее современной инфраструктуры центров обработки данных. Проблема заключается не в самой технологии, а в ее надежном развертывании в гипермасштабируемых средах, на различных объектах и в реальных эксплуатационных условиях. Именно здесь начинается настоящая сложность, и именно здесь большинство технических спецификаций перестают быть полезными.
В настоящее время общеотраслевых стандартов тестирования не существует, но они уже разрабатываются. В их отсутствие инженеры, производители и интеграторы должны разрабатывать независимые протоколы тестирования.
Без общей спецификации, особенно в отношении чистоты испытательных стендов, эта несогласованность создает каскадный эффект:
- Отсутствие стандартной фильтрации или протокола чистоты стенда.
- Отсутствие общих методов проверки герметичности систем.
- Отсутствие общего базового уровня для определения того, что считается успешным прохождением теста.
Как правило, микроканальные охлаждающие пластины с размерами каналов 160 микрон и менее уязвимы к засорению. Кроме того, любое загрязнение, внесенное во время тестирования, напрямую переносится в развернутые системы. Именно поэтому компания Mikros Technologies создает и проверяет свои микроканальные пластины 160 и 80 микрон в соответствии со стандартами чистоты, которые требует их собственная геометрия микроканалов. Отрасль в целом еще не пришла к согласию по этим стандартам тестирования.
Mikros Technologies идет дальше, закладывая надежность в конструкцию охлаждающей пластины, а не рассматривая ее как результат последующего тестирования. Эти микроканальные пластины тщательно обрабатываются и соединяются с помощью вакуумной пайки. Процесс при низком давлении и высокой степени чистоты исключает загрязнение флюсом и создает структурно прочные, герметичные соединения, хорошо подходящие для длительной эксплуатации в сложных тепловых условиях.
Кроме того, для проверки целостности на молекулярном уровне охлаждающие пластины проходят гелиевый течеискатель. Молекулы гелия меньше молекул воды и других жидких теплоносителей, что делает этот метод исключительно чувствительным индикатором герметичности перед развертыванием.
Если протоколы проверки охлаждающих пластин не выполняются эффективно, невозможно надежно узнать, выдержит ли оборудование эксплуатацию. Это делает устранение неполадок практически невозможным. Кроме того, серверы ИИ увеличивают риски. В отличие от традиционной инфраструктуры, они не деградируют постепенно при тепловой нагрузке, а немедленно отключаются. Блоки распределения охлаждения (CDU) должны быть правильно подобраны по мощности и обеспечены резервным питанием. Операторам необходимо балансировать между избыточностью CDU и стоимостью, а также зоной поражения: меньшее количество CDU снижает сложность, но увеличивает масштаб последствий при любом единичном отказе.
Цепочки поставок жидкостного охлаждения быстро развиваются, и такие поставщики, как Vertiv и Schneider Electric, предлагают полноценные модульные решения, которых не существовало еще несколько лет назад. Но модульность не означает «подключил и работай». Решения по интеграции принимаются на ранних этапах проекта, чтобы определить, будут ли эти решения работать в гипермасштабе или создадут «узкие места» в будущем.
Одно дело — обладать техническими ноу-хау для жидкостного охлаждения. Другое дело — развернуть его с производственной дисциплиной и строгостью в гипермасштабе. В мире есть лишь несколько партнеров с опытом промышленного производства и глубиной знаний, необходимыми для надежного производства серверов с жидкостным охлаждением. Jabil — один из них, способный обеспечить полную интеграцию от охлаждающей пластины до контура объекта, обладая возможностями проектирования, дизайна и разработки.
Большинство представителей отрасли рассматривают жидкостное охлаждение как модернизацию объекта, выбор CDU или задачу механического проектирования. Такая постановка вопроса недооценивает то, где на самом деле происходят сбои при развертывании. Жидкостное охлаждение становится жизнеспособным для центров обработки данных ИИ только тогда, когда оно пригодно для производства, тестирования, развертывания и обслуживания в гипермасштабе. Разрыв между «это работает в лаборатории» и «мы можем развернуть 100 000 таких систем по всему миру» — это то, где большинство решений терпят неудачу.
Приобретение компанией Jabil компании Mikros Technologies объединяет запатентованную интеллектуальную собственность на микроканальные охлаждающие пластины с возможностями полномасштабного производства. Платформа Mikromatrix от Mikros Technologies использует однофазное прямое жидкостное охлаждение, которое можно адаптировать для двухфазных систем. Ее архитектура включает прямоугольную матрицу микроканалов, ориентированных перпендикулярно охлаждаемой поверхности, что максимизирует площадь контакта теплоносителя внутри пластины для эффективного отвода тепла. Конструкция обеспечивает равномерное распределение теплоносителя и позволяет осуществлять направленное охлаждение в соответствии с тепловыми картами процессора. Это контрастирует с параллельно-поточными или ребристыми конструкциями, которые создают перепады давления и неравномерные температурные градиенты.
Микроканалы размером 160 микрон и менее, тонкопрофильные конструкции, оптимизированные для 1U, и доли пустот от 30 до 50% объема охлаждающей пластины обеспечивают удельную тепловую мощность более 1000 Вт на квадратный сантиметр при практически нулевом перепаде температур по всей поверхности активного кристалла. Зональное охлаждение позволяет регулировать скорость потока в соответствии с реальными тепловыми картами: больше хладагента подается на вычислительные ядра с высокой плотностью тепловыделения 300–500 Вт/см², меньше — туда, где тепловая нагрузка ниже, что снижает затраты энергии на перекачку.
Платформа Broadcom's 3.5D XDSiP — один из примеров того, где эта возможность уже готова к применению. Разработанная для ИИ-кластеров гигаваттного масштаба, технология 3.5D XDSiP сочетает в себе интеграцию 2.5D и 3D-IC, что обеспечивает семикратное увеличение плотности межсоединений и десятикратное снижение энергопотребления при передаче данных между кристаллами. При TDP 5000 Вт платформа требует прецизионного охлаждения на уровне чипа в профиле 1U. Охлаждающая пластина от Mikros Technologies обеспечивает тепловое сопротивление, необходимое для поддержания работы кремниевых компонентов на полной мощности при развертывании стоек с высокой плотностью размещения.
Эта интеллектуальная собственность имеет значение. То, что делает ее пригодной для гипермасштабируемых систем, — это производственная инфраструктура, стоящая за ней: совместное проектирование охлаждающих пластин, коллекторов, серверных шасси и стоечных систем; заводская проверка давления, герметичности и тепловых характеристик; стандарты надежности автомобильного уровня и сквозная прослеживаемость. Jabil также работает с различными поставщиками и стандартизирует интеграцию, не навязывая выбор компонентов — это экосистемная нейтральность без привязки к конкретному вендору. Когда клиенты переходят к гипермасштабируемым решениям, эта инфраструктура уже проверена.
Совместное проектирование жидкостного охлаждения вместе с вычислительными мощностями, а не его последующая доработка, снижает сложность интеграции, уменьшает стоимость системы и ускоряет циклы развертывания. Это также готовит операторов к предстоящим переходам, поскольку поколения ИИ-чипов меняют требования к охлаждению быстрее, чем это могут учесть большинство дорожных карт инфраструктуры.
Современные чипы — это не предел тепловых возможностей. На очереди жидкостное охлаждение сетевого оборудования, совместно упакованные кремниевые компоненты и оптика. Операторы и производители, которые рассматривают жидкостное охлаждение как фундаментальное инфраструктурное решение, а не как обновление оборудования, выиграют в вычислительной гонке.
Кривая плотности не выравнивается. Единственная переменная заключается в том, опережает ли ваша инфраструктура этот процесс или отстает от него.
Как Jabil может помочь вам в достижении целей по внедрению жидкостного охлаждения? Свяжитесь с нами.
Независимо от сложности или требовательности проекта, команда Intelligent Infrastructure компании Jabil помогает современным инноваторам решать их. Начните работу с надежным партнером.
