[Экосистема ИИ] Смена парадигмы в полупроводниковой отрасли: смещение фокуса на память

По мере развития рабочих нагрузок ИИ в сторону инференса и агентного ИИ меняются и критерии производительности систем. Одной лишь вычислительной мощности уже недостаточно. Место хранения данных, скорость их перемещения и эффективность их обработки теперь оказывают прямое влияние на производительность и энергоэффективность систем ИИ.

В этой серии статей рассматривается трансформация экосистемы ИИ, в рамках которой программное обеспечение, инфраструктура центров обработки данных, полупроводники и технологии памяти работают как единое целое. Также анализируется, почему полупроводниковая память стала фундаментальной технологией в эпоху ИИ, и излагается видение компании SK hynix по созданию экосистемы памяти следующего поколения для ИИ.

В четвертой части Раджа Кодури (Raja Koduri), генеральный директор OXMIQ Labs, руководивший разработкой архитектуры GPU и ускорителей ИИ в Apple, AMD и Intel, объясняет, почему фокус при проектировании полупроводников для ИИ смещается в сторону памяти.

① Смена парадигмы в вычислениях для ИИ ② Реальное узкое место: данные, а не вычисления ③ Переосмысление инфраструктуры: почему архитектура определяет производительность ④ Смена парадигмы в полупроводниковой отрасли: смещение фокуса на память — Раджа Кодури, основатель и CEO OXMIQ Labs ⑤ Завершая образ ИИ: физический интеллект и роль памяти

Ключевой фактор, определяющий производительность инфраструктуры ИИ, смещается от возможностей отдельных вычислительных устройств к потоку данных во всей системе. Производительность и энергоэффективность все больше зависят от того, как GPU, память, сети и хранилища взаимодействуют друг с другом. Этот сдвиг также меняет фундаментальные задачи, стоящие перед разработчиками полупроводников. Чтобы быстрее доставлять данные и сократить ненужные перемещения туда и обратно, архитектура чипов, корпусирования и самой памяти должна эволюционировать.

Центр тяжести в проектировании микросхем смещается в сторону памяти. Это не временная технологическая тенденция, а структурный переход, продиктованный физическими ограничениями. Следуя закону Мура*, полупроводниковая промышленность продолжала интегрировать все больше вычислительных схем на одном кристалле, и современные ускорители ИИ достигли производительности уровня петафлопсов*. Однако пропускная способность, необходимая для передачи данных этим вычислительным устройствам, не успевает за этим ростом.

* Закон Мура: эмпирическое наблюдение, сформулированное Гордоном Муром в 1965 году, согласно которому количество компонентов, интегрируемых в интегральную схему, исторически удваивалось через регулярные интервалы времени. Это один из самых известных эмпирических принципов в полупроводниковой отрасли * Петафлопс: единица производительности вычислений, эквивалентная 10¹⁵, или одному квадриллиону операций с плавающей запятой в секунду. Обычно используется для описания производительности ускорителей ИИ и суперкомпьютеров

Сами вычисления стали относительно дешевыми. Операции умножения и сложения требуют лишь нескольких фемтоджоулей* энергии. Однако чтение данных из накристальной SRAM* потребляет значительно больше энергии, а извлечение данных из внешней DRAM* может обходиться в сотни или даже тысячи раз дороже. Чем дальше данным приходится перемещаться от вычислительного устройства, тем выше временные и энергетические затраты.

* Фемтоджоуль (фДж): единица энергии, равная одной квадриллионной (10⁻¹⁵) доле джоуля. В полупроводниковой сфере используется для описания крайне малого количества энергии, потребляемого отдельными вычислениями или обращениями к данным * Накристальная SRAM, внешняя DRAM: накристальная SRAM — это высокоскоростная память, расположенная на одном кристалле с вычислительным блоком, в то время как внешняя DRAM находится за пределами кристалла. В целом задержка доступа к данным и затраты энергии возрастают по мере удаления памяти от вычислительного устройства

Поскольку плотность интеграции вычислительных блоков на кристалле значительно возросла, узкое место производительности постепенно сместилось в сторону доставки данных. Чтобы вычислительные устройства были полностью загружены, необходимые данные должны поступать вовремя. Сколько бы вычислительных схем ни было интегрировано, их максимальная производительность не может быть реализована, если данные поступают слишком поздно.

Та же проблема относится и к емкости памяти. Иерархия накристальной памяти, от регистров до разделяемых кэшей, отличается высоким быстродействием, но ограничена по объему хранимых данных. Современные модели ИИ, напротив, оперируют значительно большими объемами параметров и промежуточных данных. В результате данные приходится загружать из HBM или DDR, вытеснять после использования и снова считывать при необходимости. Такая повторяющаяся потоковая передача увеличивает как временную, так и энергетическую нагрузку на систему.

Поэтому конкуренция в сфере полупроводников для ИИ смещается от простого увеличения скорости вычислений к надежному обеспечению достаточным объемом данных для непрерывной загрузки доступных вычислительных ресурсов. При крупномасштабном обучении и инференсе с большими пакетами данных (batch size) узким местом могут казаться вычислительные ресурсы, тогда как при инференсе с малыми пакетами и низкой задержкой производительность может ограничиваться пропускной способностью памяти. Даже на одном и том же кремнии расположение узкого места меняется в зависимости от рабочей нагрузки. Именно поэтому память все чаще становится отправной точкой при проектировании архитектуры для ИИ.

Компьютерные архитектуры долгое время полагались на кэш-память для снижения этой нагрузки. Кэширование основано на предположении, что данные будут использоваться повторно. Как только данные переносятся ближе к вычислительному устройству, к ним можно обращаться многократно, распределяя затраты на их первоначальное извлечение по множеству операций. Это предположение отлично работало для традиционных вычислительных нагрузок. Даже относительно небольшие объемы накристальной SRAM позволяли существенно сократить количество обращений к DRAM, благодаря чему кэширование на протяжении десятилетий оставалось одним из наиболее эффективных способов повышения производительности компьютеров.

Однако архитектуры трансформеров*, которые сегодня доминируют среди моделей ИИ, поставили это предположение под сомнение, поскольку они обрабатывают огромное количество параметров и длинные контексты. По мере резкого роста числа параметров моделей сохранять все веса на кристалле стало невозможно. Во время инференса каждый вес может использоваться лишь ограниченное число раз, прежде чем потребуются новые данные. Это снижает коэффициент повторного использования данных, из-за чего кэш-памяти становится труднее в достаточной степени компенсировать затраты на первоначальное извлечение данных. В результате системы вынуждены снова и снова считывать данные из DRAM или HBM.

* Трансформер: архитектура моделей ИИ, которая обрабатывает взаимосвязи между элементами входных данных с помощью механизмов внимания (attention). Служит основой современных больших языковых моделей (LLM)

Нагрузка возрастает по мере увеличения длины контекста. KV-кэш* растет пропорционально длине контекста, в то время как операции механизма внимания* увеличивают как объем вычислений, так и число обращений к памяти. Агенты, работающие с длинными контекстами, также должны извлекать информацию о состоянии на каждом этапе выполнения задачи. При одновременной работе большого количества таких агентов традиционные архитектуры памяти, ориентированные на DDR или GDDR, могут с трудом справляться с возникающим потоком данных.

* Кэш ключей-значений (KV cache): Область памяти, в которой LLM сохраняет результаты вычислений внимания для предыдущих токенов и повторно использует их при генерации последующих токенов. По мере увеличения длины контекста KV cache также растет, увеличивая требования к емкости памяти и пропускной способности * Внимание (Attention): Механизм, который определяет, на какой информации во входном контексте должна сфокусироваться модель ИИ. Он является ключевым компонентом архитектуры трансформера, причем требования к вычислениям и доступу к памяти возрастают по мере увеличения длины контекста

Появились и более современные методы оптимизации, такие как FlashAttention*, PagedAttention* и спекулятивное декодирование* (speculative decoding*), призванные смягчить эту проблему узких мест*. Несмотря на различия в подходах, у них общая цель: сокращение обращений к памяти и перемещения данных. Эти методы уменьшают объем данных, передаваемых между кристаллическим процессором и DRAM, снижая нагрузку на память во время инференса. Однако даже при более эффективном доступе к памяти физические затраты на перемещение данных невозможно устранить полностью. Направление полупроводникового проектирования поэтому очевидно: данные необходимо размещать ближе к транзисторам, где выполняются вычисления. По мере того как трансформеры находят все более широкое применение, архитектуры, сокращающие физическое расстояние между данными и вычислениями, будут приобретать все большее значение.

* FlashAttention: Метод оптимизации, который повышает эффективность обработки за счет сокращения обращений к памяти во время операций внимания. Он используется для смягчения узких мест памяти в LLM, работающих с длинными контекстами * PagedAttention: Метод оптимизации внимания, который повышает эффективность использования памяти путем управления KV cache на неконсекутивных страницах * Спекулятивное декодирование (Speculative decoding): Метод ускорения инференса LLM, при котором меньшая модель сначала генерирует токены-кандидаты, которые затем проверяются более крупной моделью * Tri Dao et al., “FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness,” NeurIPS 2022; Woosuk Kwon et al., “Efficient Memory Management for Large Language Model Serving with PagedAttention,” SOSP 2023; Yaniv Leviathan, Matan Kalman, and Yossi Matias, “Fast Inference from Transformers via Speculative Decoding,” ICML 2023

Память с высокой пропускной способностью (HBM) стала первым крупным архитектурным решением этой проблемы и ключевым уровнем памяти, поддерживающим производительность современных ускорителей ИИ.

В HBM используется архитектура, в которой несколько кристаллических пластин DRAM вертикально сложены стопкой и соединены с вычислительным устройством через сквозные кремниевые межсоединения (through-silicon vias)* и интерпозер*. Это значительно уменьшает расстояние между вычислениями и памятью — с сантиметров до миллиметров. В результате пропускная способность существенно возрастает, а энергия, необходимая для передачи данных, уменьшается. Эта архитектура также сыграла важную роль в драматическом прогрессе ускорителей ИИ за последнее десятилетие.

* Сквозное кремниевое межсоединение (TSV): Микроскопическое вертикальное электрическое соединение, объединяющее сложенные в стопку полупроводниковые кристаллы. В HBM TSV являются ключевой технологией межсоединений, обеспечивающей перемещение данных между несколькими слоями DRAM * Интерпозер: Структура субстратного типа, соединяющая несколько полупроводниковых чипов, таких как GPU и HBM, в рамках одного корпуса. Он используется для создания более коротких и широких путей передачи данных между чипами

Подобные проектные задачи неоднократно возникали при разработке реальных продуктов. В 2015 году в компании AMD автор участвовал в разработке GPU на базе HBM. Позже в компании Intel* он руководил разработкой процессора «Ponte Vecchio», в котором были объединены 47 чипподобных модулей (chiplets)* и четыре стека HBM2e в единый корпус*. Эти проекты показали, что такие факторы, как целостность сигналов, подача питания, управление тепловыделением и механическая стабильность, являются критическими детерминантами реальной производительности и общего качества продукта.

* Чиплет (Chiplet): Подход к проектированию, при котором большой чип разделяется на несколько меньших функциональных кристаллов и соединяется в рамках одного корпуса. Это позволяет улучшить выход годной продукции, масштабируемость и гибкость проектирования * Официальные материалы Intel об архитектуре Ponte Vecchio

HBM решила значительную часть проблемы поставки данных, с которой сталкиваются ускорители ИИ. Однако предстоящие задачи сложнее. Пропускная способность HBM ограничена комбинацией факторов, включая доступную площадь интерфейса вокруг вычислительного кристалла, скорость передачи сигналов, подачу питания и тепловой дизайн. Ограничения возникают и внутри самого стека. Поскольку несколько кристаллов DRAM сложены в стопку и сигналы проходят через TSV и межсоединения, более длинные и сложные пути сигналов могут увеличивать затухание сигналов и помехи. Это также влияет на энергопотребление и тепловыделение. По мере перехода HBM от одного поколения к другому простое увеличение пропускной способности стало недостаточным средством поддержания роста производительности.

По этой причине фокус отрасли смещается с самой памяти на систему в целом. Сфера применения HBM также расширяется, охватывая базовый кристалл (base die)*, корпус, межсоединения, тепловой дизайн и характеристики реальных рабочих нагрузок. Производительность все больше зависит от того, насколько тесно и надежно память и вычислительные устройства могут быть соединены в рамках одной системы.

* Базовый кристалл (Base die): Кристалл, расположенный в основании стека HBM и обеспечивающий связь и управление между кристаллами памяти и внешней логикой или корпусом

По мере того как память приобретает все более центральное значение для системной производительности, роль корпусирования также меняется. Корпусирование больше не является просто процессом тыловой сборки. Теперь это неотъемлемая часть системной архитектуры, включающая совместное проектирование вычислительных кристаллов, стеков памяти, межсоединений и структур подачи питания, а также путей отвода тепла. То, как эти элементы расположены и соединены, напрямую влияет на пропускную способность, задержку, энергоэффективность и надежность.

Интеграция 2.5D и 3D, чиплеты, интерпозеры и гибридное бондирование (hybrid bonding)* — все это подходы, предназначенные для уменьшения физического расстояния между данными и вычислениями. Простого размещения нескольких функциональных блоков в одном корпусе недостаточно. Производительность и эффективность зависят от того, насколько тесно и надежно эти блоки соединены и насколько архитектура межсоединений согласуется с потоками данных реальных рабочих нагрузок.

* Гибридное бондирование (Hybrid bonding): Технология корпусирования, при которой вместо обычных микровыводов напрямую соединяются медные контакты (медные соединения), что обеспечивает более плотное соединение кристаллов. Она используется для сокращения путей перемещения данных при одновременном предоставлении более широких путей передачи данных и повышении энергоэффективности на той же площади

В крупномасштабных проектах по созданию чипов кажущиеся незначительными детали часто могут перерасти в снижение производительности или проблемы с надежностью. Резонанс печатной платы (PCB resonance)* может дестабилизировать передачу сигналов и питания на определенных частотах, в то время как усталость микровыводов (microbump fatigue)* может снизить надежность межсоединений при повторяющихся тепловых и механических нагрузках. Тепловое взаимодействие между различными кристаллами также может создавать локальные зоны перегрева, что потенциально снижает производительность или сокращает срок службы продукта. Таким образом, эффективность проектирования, ориентированного на память, зависит от того, насколько точно эти детализированные проблемы выявляются и устраняются на этапе проектирования.

* Резонанс печатной платы (PCB): явление, при котором структуры межсоединений и подачи питания печатной платы могут дестабилизировать сигналы на определенных частотах. В полупроводниковых системах с высокоскоростной передачей сигналов это может влиять как на производительность, так и на стабильность. * Усталость микровыводов: накопление повреждений в микровыводах — тонких межсоединениях между полупроводниковыми кристаллами, вызванное повторяющимися изменениями температуры и механическим напряжением. Это может повлиять на надежность и срок службы межсоединений.

Гибридное соединение (hybrid bonding) — это технология, позволяющая создавать более короткие и плотные соединения между кристаллами. Замена обычных микровыводов на прямое медное соединение с малым шагом позволяет формировать больше контактов на той же площади. Это снижает электрические накладные расходы, связанные с контактами и межсоединениями вдоль пути прохождения сигнала, обеспечивая при этом более широкие каналы передачи данных в пределах той же площади. Хотя микровыводы могут стать «узким местом» при высокоскоростной передаче сигналов, гибридное соединение позволяет соединять кристаллы более тесно и плотно, снижая энергопотребление на бит. В результате высокоинтегрированные 3D-архитектуры, которые более тесно объединяют логику и память, становятся жизнеспособной альтернативой.

В то же время границы между чипами, корпусами и системами становятся все более размытыми. В прошлом вычислительная мощность GPU и пропускная способность HBM были ключевыми показателями для оценки конкурентоспособности системы. Сегодня системные проектировщики должны также учитывать, как распределять вычислительные ресурсы, память и межсоединения в ограниченном пространстве. Некоторые рабочие нагрузки выигрывают от увеличения объема памяти, в то время как другие требуют более коротких и широких путей межсоединений, способных перемещать больше данных в пределах одной области. Поэтому проектирование полупроводников для ИИ отходит от сборки компонентов общего назначения к интегрированным архитектурам, адаптированным к характеристикам реальных рабочих нагрузок.

Рассмотренные технологии сходятся в одном направлении: приближение данных к вычислительным устройствам. Увеличение кэш-памяти, HBM и передовые технологии корпусирования, такие как гибридное соединение, направлены на сокращение физического расстояния между данными и вычислениями. Дальнейшее развитие этого подхода ведет к еще одной стратегии сокращения перемещения данных: вместо того чтобы перемещать данные к вычислительному устройству, часть вычислений выполняется непосредственно там, где находятся данные.

Вычисления в памяти (Processing-in-memory, PIM)* являются расширением этого подхода. В традиционных вычислительных архитектурах данные доставляются к вычислительному устройству для обработки. PIM, напротив, переносит часть вычислений туда, где хранятся данные. Выполняя определенные операции внутри DRAM, на базовом кристалле HBM или рядом с другими технологиями памяти, PIM может сократить ненужную передачу данных туда и обратно.

* Вычисления в памяти (PIM): технология, которая выполняет некоторые вычисления внутри памяти или рядом с ней, вместо того чтобы перемещать данные к вычислительному устройству. Это позволяет повысить производительность и энергоэффективность при рабочих нагрузках ИИ, где затраты на перемещение данных высоки.

Вместо замены CPU или GPU, PIM хорошо подходит для дополнения существующих ускорителей в тех рабочих нагрузках, где стоимость перемещения данных превышает стоимость вычислений. Например, при выполнении повторяющихся, относительно простых операций над большими тензорами*, содержащими огромные объемы данных, стоимость перемещения этих данных на большие расстояния внутри иерархии памяти может оказывать большее влияние на общую эффективность системы, чем сами вычисления. Для таких рабочих нагрузок выполнение вычислений внутри памяти или рядом с ней может снизить энергопотребление в 10–100 раз, в зависимости от нагрузки*. Основное преимущество PIM заключается не столько в увеличении вычислительной мощности как таковой, сколько в сокращении перемещения данных.

* Тензор: многомерный массив, используемый для представления данных, обрабатываемых моделями ИИ, включая изображения, веса моделей и промежуточные результаты вычислений. Вычисления ИИ включают многократную обработку этих больших массивов данных. * Раджа Кодури, «Сдвиг в сторону памяти», материал для серии SK hynix AI Ecosystem, 2026 г.

Этот сдвиг делает иерархию памяти отправной точкой проектирования систем. Эффективность системы может существенно варьироваться в зависимости от размещения данных, того, какие операции выполняются там, где находятся данные, и когда данные передаются на центральный ускоритель. Будущие архитектуры, ориентированные на память*, вероятно, приблизятся к модели, в которой вычисления переносятся к данным, а не данные перемещаются к вычислительному устройству.

* Архитектура, ориентированная на память: подход, который выходит за рамки архитектур, сосредоточенных на передаче данных к вычислительным устройствам, вместо этого предполагающий совместное проектирование вычислений, корпусирования и межсоединений вокруг того, где хранятся данные и как организована иерархия памяти.

Однако существуют серьезные проблемы, которые необходимо преодолеть. Одна из самых сложных задач при внедрении вычислительных функций в стек памяти — это управление тепловыми режимами. Гибридное соединение может снизить энергопотребление на интерфейсе, но когда логика размещается близко к чувствительной к температуре DRAM, эффективный отвод выделяющегося тепла остается сложной задачей. Это связано с тем, что пропускная способность, энергоэффективность, надежность и тепловые характеристики должны быть достигнуты одновременно в ограниченном пространстве.

Таким образом, внедрение PIM требует системного подхода, который тесно интегрирует память, вычисления, корпусирование, тепловое проектирование и программное обеспечение. Концепция вычислений там, где находятся данные, проста, но превращение ее в практический продукт требует интегрированных проектных возможностей, способных точно координировать все эти элементы.

Фокус полупроводников для ИИ выходит за рамки отдельных вычислительных кристаллов, охватывая корпус и систему в целом. Мы вступили в эпоху, когда улучшения любого отдельного элемента уже недостаточно для преодоления пределов производительности и эффективности.

Инновации на уровне транзисторов остаются необходимыми. Технологии, снижающие рабочее напряжение и ток утечки при одновременном повышении вычислительной эффективности, должны продолжать развиваться. Однако следующего скачка производительности нельзя ожидать только за счет интеграции большего количества вычислительных схем. Более серьезная задача сейчас заключается в том, насколько эффективно можно использовать доступную вычислительную мощность.

Это оставляет три ключевых вопроса. Насколько близко данные могут быть расположены к вычислительному устройству? Когда перемещение данных неизбежно, насколько быстро и эффективно они могут быть переданы? И какую вычислительную ценность можно извлечь из данных после их получения? Будущие инновации в области полупроводников для ИИ будут определяться тем, как отрасль ответит на эти три вопроса.

Основа конкуренции в полупроводниковой промышленности также меняется. Если эра CPU определялась конкуренцией в производительности процессоров, то эра GPU была сосредоточена на конкуренции в области массово-параллельной обработки. В эпоху ИИ конкурентоспособность зависит от архитектур, которые объединяют вычисления, память, корпусирование, межсоединения и программное обеспечение в единую систему, минимизируя при этом ненужное перемещение данных.

В основе архитектуры, ориентированной на память, лежит идея сделать память отправной точкой для проектирования архитектуры на всем пути хранения, доставки и обработки данных внутри системы ИИ. HBM обеспечивает подачу данных в непосредственной близости к вычислительному устройству, передовые технологии корпусирования создают более плотные соединения между памятью и вычислительными мощностями, а PIM сокращает само перемещение данных за счет выполнения вычислений там, где эти данные хранятся.

Конкурентоспособность полупроводников для ИИ будет все больше зависеть от конструкторских решений, которые удерживают данные рядом, минимизируют их ненужное перемещение и извлекают большую вычислительную ценность из одних и тех же данных. Ни одна технология не освобождена от законов физики. Разница в производительности и эффективности в конечном итоге сводится к тщательной инженерной проработке и непрерывной оптимизации.

В следующей статье будет рассмотрено, как этот сдвиг распространяется на сферы физического ИИ и ИИ на устройствах. По мере того как ИИ выходит за пределы облачных сред и центров обработки данных в сторону периферийных вычислений, устройств и физического мира, производительность будет все больше зависеть не просто от более быстрых вычислительных устройств, а от архитектур, которые держат необходимые данные под рукой и обеспечивают их стабильную доставку.

Отказ от ответственности: Мнения, выраженные в этой статье, принадлежат исключительно автору и не обязательно отражают официальную позицию SK hynix.