[AI Infrastructure Insight] Как будет проектироваться инфраструктура ИИ будущего

ИИ больше не определяется одной моделью или ИИ-процессором. Для эффективной работы ИИ в реальных сервисах и промышленных приложениях необходимы более быстрые вычисления, более широкая полоса пропускания памяти, высокопроизводительные сети, более эффективные системы хранения данных, а также стабильное питание и охлаждение, работающие в тесном взаимодействии друг с другом. Именно поэтому конкуренция в сфере ИИ смещается от отдельных технологий к проектированию и эксплуатации всей инфраструктуры в целом.

В серии материалов AI Infrastructure Insight мы исследуем, как развивается архитектура ИИ-инфраструктуры — от вычислений, памяти, хранилищ, сетей, питания и охлаждения до их объединения в единую систему, — и что это значит для отрасли.

[Обзор серии] ① Что меняется внутри дата-центров ИИ? ② Почему одни только более быстрые графические процессоры не могут обеспечить производительность ИИ ③ Почему питание и охлаждение стали следующим вызовом для дата-центров ИИ ④ Как будет проектироваться инфраструктура ИИ будущего

Изменения, рассмотренные в первых трех частях серии [AI Infrastructure Insight], указывают на новое направление проектирования ИИ-инфраструктуры. Конкуренция в области ИИ-инфраструктуры теперь определяется не только производительностью отдельных компонентов, но и тем, насколько эффективно интегрированы вычисления, память, хранилища, сети, а также системы питания и охлаждения. Архитектура ИИ-дата-центров, обсуждавшаяся в Части 1, узкие места перемещения данных, исследованные в Части 2, и проблемы питания и охлаждения, затронутые в Части 3, ведут к одной и той же проектной задаче.

Как же тогда должна проектироваться ИИ-инфраструктура нового поколения и в каком масштабе? В заключительной части [AI Infrastructure Insight] мы рассматриваем, как масштаб проектирования инфраструктуры расширяется от отдельных серверов до стоек и целых дата-центров. Мы также анализируем, как совместное проектирование (co-design)* — подход, который учитывает вычисления, память, хранилища, сети, питание и охлаждение в совокупности с начального этапа проектирования — формирует облик ИИ-инфраструктуры и отраслевое сотрудничество, одновременно эволюционируя роль компаний, производящих память для ИИ.

* Совместное проектирование (Co-design): подход к проектированию, который учитывает требования различных технологий и систем с ранних этапов разработки для оптимизации системы в целом.

От серверов к стойкам: расширение масштаба проектирования ИИ-инфраструктуры

Фундаментальная единица проектирования ИИ-инфраструктуры расширяется от отдельных серверов до стоек. Это связано с тем, что крупномасштабные задачи обучения ИИ и инференса трудно обрабатывать с помощью одного ИИ-акселератора или сервера. В средах, где большое количество акселераторов должно быть тесно связано между собой для распределения рабочей нагрузки, общая производительность определяется не только возможностями отдельных акселераторов, но и балансом всей системы, включая межкомпонентные соединения акселераторов, память, сети, питание и охлаждение.

В результате фокус проектирования смещается от отдельных серверов к интеграции ресурсов внутри стойки в единую архитектуру. Несколько серверов и акселераторов плотно размещаются в каждой стойке, а конфигурации памяти, сети, требования к питанию и охлаждению проектируются вокруг единой системы. Одним из ярких примеров такого подхода является стоечная система* (rack-scale system), которая рассматривает всю стойку как единую вычислительную систему.

* Стоечная система (Rack-scale system): ИИ-вычислительная система, которая объединяет ЦП, ГП, память, сети, питание и охлаждение в рамках единого проекта на уровне стойки.

В стоечной системе несколько акселераторов и процессоров соединены через высокоскоростные интерфейсы, в то время как память, сети, питание и охлаждение проектируются совместно на уровне стойки. Таким образом, стойки превращаются из пространств, просто вмещающих несколько серверов, в интегрированные системные блоки, объединяющие передачу данных, распределение питания и терморегуляцию.

От стоек ко всему дата-центру: расширение сферы проектирования инфраструктуры

Проектирование ИИ-инфраструктуры не ограничивается уровнем стойки. Создание высокоплотных ИИ-систем в масштабе требует скоординированного подхода, учитывающего все аспекты: от размещения стоек и сетей до питания, охлаждения и физической структуры самого дата-центра.

По мере роста ИИ-кластеров эффективность связи между стойками оказывает все более значительное влияние на производительность системы. Размещение стоек, расстояние соединения и сетевая архитектура могут влиять на задержку передачи данных и эффективность коммуникации. Инфраструктура охлаждения также должна учитывать размещение стоек и конфигурацию помещений для отвода тепла, генерируемого высокоплотными стойками. То же самое относится и к архитектуре распределения питания, которая должна обеспечивать надежную подачу необходимой мощности по всему объекту.

Реализация полного потенциала производительности крупномасштабной ИИ-инфраструктуры требует скоординированного проектирования размещения стоек и соединений, системы питания, охлаждения и архитектуры здания.

По мере диверсификации рабочих нагрузок ИИ меняется и проектирование инфраструктуры

С расширением сферы проектирования ИИ-инфраструктуры типы обрабатываемых рабочих нагрузок также становятся важным фактором проектирования. Вместо применения одинаковой архитектуры к каждой задаче ресурсы должны конфигурироваться в соответствии с требованиями к производительности и характеристиками обработки данных каждой задачи.

Обучение крупномасштабных моделей требует использования многочисленных акселераторов для выполнения параллельных вычислений в течение длительных периодов времени, что предъявляет повышенные требования к высокой пропускной способности, полосе пропускания памяти и быстрой связи между акселераторами. Инференс, напротив, требует низкой задержки, быстрого доступа к данным, высокой пропускной способности, а также энерго- и экономической эффективности. Даже в рамках одной и той же ИИ-инфраструктуры конфигурация вычислений и памяти, способы подключения сетей и хранилищ, а также требования к питанию и охлаждению могут различаться в зависимости от рабочих нагрузок, для обработки которых предназначена система.

В частности, такие рабочие нагрузки, как агентный ИИ* (agentic AI), добавляют еще один уровень сложности. Один запрос может включать в себя несколько раундов рассуждений, а также повторяющийся доступ к внешним инструментам и данным. В таких условиях перемещение данных между памятью, хранилищем и сетями может стать ключевым фактором, влияющим на реальную производительность обработки.

Даже самые передовые акселераторы не смогут обеспечить ожидаемую производительность без беспрепятственного перемещения данных, достаточной пропускной способности памяти, а также стабильного питания и охлаждения. Проектирование ИИ-инфраструктуры начинается с фундаментального вопроса: для обработки какой рабочей нагрузки создается система?

* Агентный ИИ (Agentic AI): ИИ-система или технология, которая планирует задачи на основе заданной пользователем цели и выполняет множество шагов с использованием внешних инструментов, данных и других ресурсов.

ИИ-инфраструктура: от поздней интеграции к совместному проектированию

По мере того как технологии, составляющие ИИ-инфраструктуру, теснее переплетаются друг с другом, меняется и подход к проектированию систем. Изменения в производительности ускорителей и характеристиках энергопотребления влияют на пропускную способность и емкость памяти, необходимые системе, производительность интерконнекта, а также на требования к энергопотреблению и охлаждению на уровне стоек. И наоборот, мощность, охлаждение и сетевые возможности, доступные в дата-центре, могут влиять на конфигурацию и масштаб развертываемых вычислительных систем.

Существуют пределы независимого проектирования каждого компонента с их интеграцией лишь на финальном этапе. В результате совместное проектирование (co-design) — подход, который согласует требования к ИИ-вычислительным платформам и инфраструктуре дата-центра с начального этапа проектирования, — приобретает все более широкое распространение.

Совместное проектирование теперь распространяется и на физическую инфраструктуру дата-центра, включая электроснабжение и охлаждение. В высокоплотных ИИ-системах подача питания, жидкостное охлаждение и терморегуляция стали переменными проектирования, которые необходимо учитывать наряду с требованиями к вычислительной системе.

Таким образом, проектирование ИИ-инфраструктуры отходит от сборки готовых компонентов на финальном этапе в пользу интегрированного процесса проектирования, который с самого начала увязывает вычисления, память, хранение данных, сети, а также энергоснабжение и охлаждение.

От совместного проектирования к общим стандартам проектирования

По мере того как совместное проектирование охватывает отдельные системы, индустрия также нуждается в общих интерфейсах и требованиях, которые позволяют технологиям от разных компаний работать вместе в рамках одного дата-центра.

Инфраструктура питания — одна из показательных областей. По мере роста требований к питанию на уровне стоек в средах с высокой плотностью ИИ в настоящее время предпринимаются усилия по установлению общих стандартов качества электроэнергии, управления колебаниями мощности и интерфейсов оборудования. На этом фоне через Open Compute Project* продолжаются дискуссии о стандартизации архитектур питания, системных требований и интерфейсов для дата-центров нового поколения.

* Open Compute Project (OCP): Глобальное совместное сообщество, которое разрабатывает и распространяет открытые проекты и стандарты для оборудования и инфраструктуры дата-центров.

Общие стандарты проектирования позволили бы компаниям, разрабатывающим силовое оборудование, соединители и системы преобразования энергии, создавать совместимые продукты и системы, вместо того чтобы по отдельности реагировать на специфические требования каждого дата-центра.

Эта тенденция не ограничивается инфраструктурой питания. Также ведутся дискуссии об установлении общих стандартов для интерконнектов ускорителей и интерфейсов памяти. В индустрии памяти такие стандартизирующие организации, как JEDEC*, определяют фундаментальные спецификации для ключевых продуктов, включая HBM, которые отдельные компании затем используют в качестве основы для разработки продукции. Сотрудничество, начинающееся с совместного проектирования между отдельными компаниями, таким образом перерастает в общую базу проектирования, которую может принять более широкая экосистема отрасли.

* JEDEC Solid State Technology Association (JEDEC): Международная организация по стандартизации, которая устанавливает спецификации для памяти и других полупроводниковых технологий.

Как совместное проектирование меняет роль памяти

Однако одни лишь общие стандарты не могут удовлетворить требования каждой системы. В то время как стандарты обеспечивают основу для совместимости, оптимизация под конкретные системы происходит поверх этой основы. То же самое относится и к памяти. Поскольку ускорители обрабатывают все большие объемы данных на более высоких скоростях, требования к пропускной способности, емкости, энергопотреблению и тепловым характеристикам памяти различаются от системы к системе. В результате спецификации памяти все чаще определяются наряду с платформой и системной архитектурой на ранних этапах планирования, оставаясь при этом опирающимися на общие стандарты.

HBM — яркий пример этого сдвига. Набирают обороты дискуссии вокруг разработки заказных HBM нового поколения, которые учитывают системные требования клиентов, причем базовая матрица (base die)* играет здесь центральную роль.

* Базовая матрица (Base die): Кристалл, расположенный под сложенными матрицами DRAM в памяти HBM и выполняющий такие функции, как ввод/вывод данных.

Этот сдвиг также меняет то, как компании, производящие память, работают со своими клиентами. Масштаб сотрудничества расширяется и включает более раннее обсуждение дорожных карт клиентских систем, а также того, как должны согласовываться с ними спецификации памяти и направления разработки.

SK hynix также расширяет сотрудничество с клиентами, раньше подключаясь к разработке их ИИ-систем нового поколения. Это подразумевает сопоставление дорожных карт клиентских систем с планами разработки памяти для совместного определения требований к памяти.

В конкурентной борьбе в сфере ИИ-инфраструктуры дифференциация среди компаний, производящих память, все больше зависит не только от производительности продукта, но и от того, насколько рано они понимают планы разработки систем клиентов нового поколения и насколько глубоко участвуют в процессе проектирования.

Совместное проектирование ИИ-инфраструктуры нового поколения

По мере расширения масштабов ИИ-инфраструктуры оптимизации вычислений, памяти, хранения данных, сетей, а также энергоснабжения и охлаждения уже недостаточно. Потоки данных, а также поддерживающая их инфраструктура питания и охлаждения также должны проектироваться совместно как часть единой архитектуры.

В дальнейшем конкуренция в области ИИ-инфраструктуры будет определяться не только спецификациями отдельных технологий, но и тем, насколько точно удастся согласовать общую архитектуру. SK hynix расширяет сотрудничество с клиентами и партнерами, чтобы раньше понимать их системы нового поколения и совместно определять требования к памяти, которые понадобятся этим системам.