[Взгляд изнутри] В эпоху ИИ NAND переходит от хранения данных к вычислениям… Совместная оптимизация 3D FeNAND на конференции IEEE

SK hynix предлагает полный спектр решений в области памяти для ИИ, оптимизированных для систем искусственного интеллекта во всех основных категориях памяти, включая память с высокой пропускной способностью (HBM), DRAM и флеш-память NAND.

Чтобы осветить исследования, лежащие в основе этих решений, а также более широкую технологическую дорожную карту компании, SK hynix Newsroom запускает серию статей под названием [Взгляд на исследования].

Во второй части рассматривается подход, который предполагает совместную оптимизацию схем ячеек, не связанных с ячейками компонентов и страниц для повышения эффективности аналоговых вычислений в памяти (A-CiM) на базе 3D FeNAND.

[Читать статью] · Название: «Совместная оптимизация схем ячеек, не связанных с ячейками компонентов и страниц для энергоэффективных аналоговых вычислений в 3D FeNAND» · Опубликовано на: 2025 IEEE International Electron Devices Meeting (IEDM) · Авторы: Вон-Тэ Ку и Джихун Ким, технические руководители, Global RTC, SK hynix (Summary) | (Полный текст)

По мере того как крупномасштабные модели ИИ продолжают расти, энергопотребление и задержки, связанные с перемещением данных, становятся основными узкими местами в инфраструктуре ИИ. Чтобы решить эти проблемы, исследовательская группа SK hynix сосредоточилась на аналоговых вычислениях в памяти (A-CiM)* — архитектуре, которая объединяет хранение данных и вычисления, и предложила подход на основе 3D FeNAND*, который предполагает совместную оптимизацию схем ячеек, не связанных с ячейками компонентов и страниц.

Производительность вычислений ИИ больше нельзя объяснить только скоростью вычислительных устройств. То, где хранятся данные, где происходят вычисления и насколько можно сократить перемещение данных, напрямую влияет на общую эффективность системы. На этом фоне вычисления в памяти (CiM) привлекают все больше внимания. CiM снижает нагрузку, связанную с перемещением данных, за счет обработки данных внутри памяти или в непосредственной близости от нее, вместо их постоянной передачи на вычислительные устройства.

* Аналоговые вычисления в памяти (A-CiM): технология вычислений в памяти, которая выполняет вычисления в аналоговой форме внутри памяти. * 3D FeNAND: архитектура 3D NAND, использующая сегнетоэлектрические свойства. Она использует состояние поляризации сегнетоэлектрических материалов для хранения данных и управления состояниями тока.

Среди этих подходов A-CiM использует электрические состояния, хранящиеся в ячейках памяти, для выполнения операций умножения и накопления (MAC)*, которые являются фундаментальным строительным блоком вычислений ИИ. По мере роста моделей ИИ увеличивается и объем весовых данных, которые необходимо хранить и к которым нужно постоянно обращаться. В результате архитектуры, способные хранить большие объемы данных с высокой плотностью, становятся обязательным требованием для реализации A-CiM.

* Умножение и накопление (MAC): операция, которая многократно выполняет умножение и сложение. Это фундаментальное вычисление, используемое при выводе и обучении ИИ.

Исследовательская группа определила 3D FeNAND как архитектуру памяти, хорошо подходящую для A-CiM. Коммерческая 3D NAND в основном использует структуру с ловушкой заряда (CTN), которая управляет состояниями ячеек путем захвата или высвобождения электронов внутри нитридного слоя. Хотя эта структура обладает преимуществами с точки зрения плотности, у нее есть ограничения, когда дело доходит до точного различения нескольких уровней тока, необходимых для аналоговых вычислений.

FeNAND, напротив, управляет током ячейки за счет использования изменений электрического состояния сегнетоэлектрического* материала. Сегнетоэлектрические материалы сохраняют свое внутреннее состояние поляризации даже после снятия внешнего электрического поля. Изменяя это состояние поляризации, можно хранить данные и управлять состоянием ячейки памяти. Эти свойства дают FeNAND преимущество перед обычной 3D CTN NAND в точном управлении несколькими уровнями тока при меньшем энергопотреблении.

Однако применение 3D FeNAND в A-CiM требует большего, чем просто изменение структуры ячейки. Даже если ячейки могут надежно различать разные уровни тока, общая производительность остается ограниченной, если значительная энергия теряется в межсоединениях, используемых для их выбора и управления. Аналогично, даже если нагрузка на межсоединения снижена, неспособность использовать страницы в соответствии с размером данных и последовательностью вычислений модели ИИ может привести к ненужным переключениям и задержкам.

* Сегнетоэлектрик: материал, который сохраняет свое внутреннее состояние поляризации даже после снятия внешнего электрического поля. Поскольку направление поляризации можно переключать электрически, сегнетоэлектрические материалы могут использоваться для хранения данных и управления состоянием ячеек в устройствах памяти.

Вот почему схемы ячеек, не связанных с ячейками компонентов и страниц должны быть оптимизированы совместно. Чтобы воплотить потенциал 3D FeNAND в практическую эффективность A-CiM, необходимо улучшить управление уровнем тока на уровне ячейки, накладные расходы на переключение слов (word line)* и использование страниц в рамках единой интегрированной архитектуры.

* Слово (Word line): межсоединение, используемое для выбора и управления ячейками памяти. Напряжение подается на слово для чтения или записи в конкретную ячейку или группу ячеек.

Что отличает это исследование, так это целостный подход к оптимизации схем ячеек, не связанных с ячейками компонентов и страниц вместе, а не улучшение каждого из них по отдельности. В A-CiM ячейки должны точно представлять несколько уровней тока, в то время как компоненты, не связанные с ячейками, должны минимизировать потери энергии при выборе и управлении этими состояниями. Схема страниц организует данные, используемые для вычислений, в соответствующие последовательности и единицы, чтобы сократить ненужные операции переключения.

Если узкое место остается в любой из этих трех областей, общая производительность ограничивается. Даже если ячейки могут точно представлять значения, высокие накладные расходы на переключение слов снижают энергоэффективность. Аналогично, даже если накладные расходы на межсоединения снижены, неэффективная организация данных внутри страницы может увеличить задержку. Применение целостного подхода к совместной оптимизации* во всех трех областях повысило вычислительную пропускную способность и энергоэффективность A-CiM на базе 3D FeNAND.

* Совместная оптимизация: подход, который повышает общую производительность за счет совместной оптимизации нескольких элементов, таких как ячейки памяти, периферийные схемы и вычислительные схемы, вместо улучшения каждого из них независимо.

Преимущества совместной оптимизации были продемонстрированы количественно. Оптимизированная архитектура 3D FeNAND значительно улучшила пропускную способность и энергоэффективность по сравнению с обычными архитектурами на базе 3D NAND. При тех же ограничениях по площади чипа она также обеспечила примерно в 10–20 раз более высокую пропускную способность и примерно в 4000–5000 раз большую энергоэффективность, чем обычные 3D-массивы. Эти достижения отражают высокую плотность интеграции 3D FeNAND и сокращение перемещения данных, достигнутое за счет совместной оптимизации схем ячеек, не связанных с ячейками компонентов и страниц.

Результаты показывают, что повышение производительности, выходящее за рамки того, что может быть достигнуто только за счет увеличения плотности памяти, может быть получено за счет оптимизации на системном уровне. Эффективность вычислений ИИ определяется не только тем, сколько данных можно сохранить. Общая производительность также зависит от того, как хранящиеся данные представлены через различные состояния тока, как эти состояния контролируются через межсоединения и в какой последовательности и единицах данные используются для вычислений.

Это исследование также важно тем, что оно расширяет потенциальную роль NAND в системах искусственного интеллекта. В эпоху ИИ NAND больше не ограничивается хранением больших объемов данных. Технология развивается в направлении поддержки высокоплотных весов для крупномасштабных моделей ИИ, снижая энергетические затраты, связанные с перемещением и перезаписью данных, а также повышая вычислительную эффективность.

Благодаря высокой плотности интеграции, низкому энергопотреблению и возможностям многоуровневого управления, A-CiM на базе 3D FeNAND демонстрирует потенциал NAND к выходу за рамки простого носителя информации и превращению в вычислительную среду. В частности, совместная оптимизация схем ячеек, внеячеечных структур и страниц показывает возможность оптимизации архитектур NAND на системном уровне для удовлетворения требований рабочих нагрузок ИИ.

Узкие места в A-CiM на базе 3D FeNAND можно разделить на три области — ячейка, внеячеечные структуры и страница, — каждая из которых требует своего подхода к оптимизации. Схема ячейки определяет, как данные представляются через различные состояния тока. Внеячеечная схема охватывает межсоединения и периферийные структуры, используемые для выбора и управления ячейками. Схема страницы касается того, как данные, используемые в реальных вычислениях ИИ, организованы в различные блоки и последовательности. Хотя эти три области могут казаться отдельными, они тесно взаимозависимы во время реальных операций A-CiM.

☑︎ Точка оптимизации 1: Ячейка – Точное управление многоуровневыми состояниями тока

В A-CiM ячейки памяти делают больше, чем просто хранят 0 и 1. Чтобы точно хранить и вычислять веса моделей ИИ, каждая ячейка должна надежно представлять несколько состояний тока. Без достаточной многоуровневой* способности точность аналоговых вычислений снижается, что в конечном итоге уменьшает эффективность операций MAC.

Обычная NAND в основном использует пошаговое импульсное программирование* (ISPP) для точного управления пороговым напряжением*. ISPP контролирует пороговое напряжение ячейки памяти путем постепенного увеличения напряжения программирования. Однако этот подход может вызвать резкие изменения тока ячейки при том же напряжении на затворе считывания*. Эта характеристика плохо подходит для аналоговых синаптических ячеек, которые требуют постепенного и точного различения нескольких уровней тока.

Для 3D FeNAND исследовательская группа применила подход, который увеличивает количество импульсов* при том же напряжении, минимизируя при этом последующие инкрементальные увеличения напряжения. По мере увеличения количества импульсов пороговое напряжение постепенно приближалось к насыщению, в то время как ток ячейки, измеренный при том же напряжении на затворе считывания, увеличивался отчетливыми шагами. Этот постепенный отклик обеспечивает наличие нескольких аналоговых состояний для вычислений ИИ.

* Многоуровневость (Multi-level): метод, при котором одна ячейка представляет несколько электрических состояний, выходящих за рамки двоичных состояний 0 и 1. Это позволяет ячейке хранить больше информации или поддерживать аналоговые вычисления * Пошаговое импульсное программирование (ISPP): метод, который регулирует пороговое напряжение ячейки памяти путем постепенного увеличения напряжения программирования * Пороговое напряжение (Vth): напряжение, при котором ток начинает протекать через ячейку памяти. Оно варьируется в зависимости от накопленного заряда или состояния ячейки и используется для считывания данных * Напряжение на затворе считывания (VG): напряжение, подаваемое на затвор для считывания состояния ячейки памяти. Измерение того, как ток ячейки изменяется при одном и том же напряжении на затворе считывания, показывает, насколько надежно ячейка может различать разные аналоговые состояния * Количество импульсов (PN): количество импульсов программирования, примененных для изменения состояния ячейки памяти. В этом исследовании PN регулировалось для различения нескольких состояний тока ячейки

Преимущества FeNAND также очевидны в том, как она управляет током. Обычная CTN NAND изменяет состояние ячейки, регулируя количество электронов, хранящихся в нитридном слое. FeNAND, напротив, использует переключение доменов* в сегнетоэлектрических материалах на основе HZO*. Эта характеристика обеспечивает точную многоуровневую работу в области низких токов. Работа с четырьмя уровнями на ячейку в области низких токов, наряду со стабильным удержанием данных, была также продемонстрирована в масштабе 300-мм пластин.

* Переключение доменов (Domain switching): явление, при котором направление поляризации внутри сегнетоэлектрического материала изменяется в ответ на электрическое поле. В FeNAND переключение доменов может использоваться для управления состояниями тока * Оксид гафния-циркония (HZO): сегнетоэлектрический материал на основе оксида гафния и циркония, используемый для управления состояниями ячеек в FeNAND

☑︎ Точка оптимизации 2: Внеячеечные структуры – Снижение накладных расходов на переключение словных линий

Вторая проблема существует вне самой ячейки. В архитектурах NAND словные линии — это межсоединения, используемые для выбора и управления ячейками памяти. Во время операций MAC в A-CiM выбранные и невыбранные словные линии многократно переключают состояния. Это переключение увеличивает как энергопотребление, так и задержку.

Сопротивление и емкость словных линий были определены как ключевые внеячеечные факторы в массивах 3D FeNAND. Более высокое сопротивление и емкость словных линий замедляют передачу сигнала и увеличивают энергию, необходимую для переключения между выбранным и невыбранным состояниями. Поэтому важной целью внеячеечной оптимизации является снижение обоих факторов и уменьшение накладных расходов на переключение.

В ходе анализа сначала было изучено, как различные металлы словных линий влияют на производительность. По сравнению с базовой структурой, использование металла с низким сопротивлением улучшило пропускную способность до 16%, а энергоэффективность — до 3%. Улучшение энергоэффективности было относительно ограниченным, поскольку на общее энергопотребление больше влияет емкость словных линий, чем их сопротивление.

Затем в анализе было рассмотрено введение воздушных зазоров* в оксид между словными линиями для уменьшения паразитной емкости*. Применение воздушных зазоров уменьшило паразитную емкость между словными линиями примерно на 60%, увеличив пропускную способность в 1,2 раза, а энергоэффективность — в два раза. При совместной оптимизации сопротивления и емкости словных линий пропускная способность улучшилась до 1,4 раза, а энергоэффективность — до 2,2 раза.

Внеячеечная оптимизация улучшает путь, который преобразует аналоговые состояния, реализованные в ячейках, в реальные вычисления. Даже при точных операциях с ячейками преимущества A-CiM уменьшаются, если переключение словных линий потребляет чрезмерное количество энергии и времени. Однако одного лишь снижения накладных расходов на межсоединения недостаточно. Задержка и количество операций переключения также варьируются в зависимости от того, как данные, используемые для вычислений, организованы внутри страницы.

* Воздушный зазор (Air gap): структура, которая вводит слой воздуха между изоляционными материалами для уменьшения паразитной емкости. Это может помочь уменьшить электрические помехи и энергопотребление между межсоединениями * Паразитная емкость (Parasitic capacitance): непреднамеренная электрическая емкость, возникающая между близко расположенными межсоединениями, такими как словные линии. Когда напряжение подается на одно межсоединение, оно может влиять на соседние, увеличивая задержку сигнала и энергопотребление

☑︎ Точка оптимизации 3: Страница – Оптимизация последовательности вычислений и размещения данных

Третья задача связана с вычислениями на уровне страниц. Пропускная способность A-CiM в значительной степени зависит от того, сколько входных данных можно обрабатывать параллельно в рамках одной страницы или массива. Количество переключений страниц также влияет на пропускную способность* и энергоэффективность (TOPS/Вт)*. Даже при возможности хранения больших объемов данных неэффективная организация значений, используемых для вычислений, может привести к ненужным переключениям и увеличению задержки MAC-операций.

Первый метод на уровне страниц — это внутристраничный конвейер (in-page pipelining)*. IPP эффективно организует слои нейронной сети* внутри одной страницы и, при необходимости, реплицирует слои для повышения параллелизма вычислений. IPP также разработан для сокращения как количества MAC-операций, так и событий переключения словных линий.

Результаты моделирования показали, что IPP удвоил энергоэффективность и увеличил пропускную способность в девять раз по сравнению с базовой архитектурой. Это доказывает, что способ организации и обработки данных внутри страницы — как в последовательности, так и в единицах — напрямую влияет на производительность A-CiM.

Второй метод на уровне страниц — это разделение страниц (page splitting)*. Разделение стандартной страницы объемом 16 КБ на четыре подстраницы по 4 КБ позволяет более гибко организовывать данные в соответствии с размерами входных и выходных данных слоев нейронной сети. Вместо использования одной большой страницы как единого целого, разделение на более мелкие блоки позволяет задействовать неиспользуемые подстраницы для размещения реплицированных слоев или других слоев нейронной сети. В результате для рабочей нагрузки требуется меньше страниц, что снижает энергию переключения, задержки и задержку MAC-операций.

* Тераопераций в секунду (TOPS): метрика пропускной способности, представляющая количество операций, которые могут быть выполнены в секунду, измеряется в триллионах * Тераопераций в секунду на ватт (TOPS/Вт): метрика энергоэффективности, представляющая количество операций, которые могут быть выполнены на ватт, измеряется в триллионах * Внутристраничный конвейер (IPP): метод, который оптимизирует размещение слоев нейронной сети и последовательность вычислений внутри одной страницы для сокращения количества операций и событий переключения словных линий * Слой нейронной сети (NN): вычислительный этап внутри искусственной нейронной сети. Каждый слой получает входные данные, выполняет вычисления с использованием весов и передает результаты следующему слою * Разделение страниц: метод, который делит большую страницу на несколько меньших подстраниц, чтобы их можно было использовать в соответствии с размерами входных и выходных данных слоев нейронной сети

Применение разделения страниц повысило энергоэффективность в 1,2 раза, а пропускную способность — в 1,7 раза. Однако меньшие размеры страниц не всегда дают лучшие результаты. Оптимальный размер страницы варьировался в зависимости от моделей нейронных сетей. Если страницы становятся слишком маленькими, слои нейронной сети могут быть разделены на слишком большое количество сегментов, что, наоборот, может увеличить задержку MAC-операций.

Эти результаты показывают, что оптимизация страниц — это не просто вопрос конфигурации памяти, а вопрос согласования архитектуры ИИ-модели с операциями памяти. Схема ячеек точно представляет значения, неячеечная схема эффективно выбирает и контролирует эти значения, а страничная схема координирует доставку данных для вычислений в эффективной последовательности. Производительность A-CiM в конечном итоге зависит от того, насколько эффективно эти три элемента работают вместе.

По своей сути A-CiM направлен на сокращение времени и энергии, затрачиваемых на многократное перемещение данных. Используя в качестве аналогии работу международного аэропорта, 3D FeNAND подобен крупному узловому аэропорту, способному обрабатывать большое количество пассажиров и расписаний рейсов. Более крупный аэропорт может принять больше пассажиров, точно так же, как память с более высокой плотностью может хранить больше данных, но более крупный объект не обязательно означает более быстрые операции.

Во-первых, пассажиры должны быть точно идентифицированы и направлены к соответствующим выходам для посадки в пункты назначения. Это похоже на оптимизацию ячеек, при которой одна ячейка должна надежно различать несколько состояний тока, чтобы точно представлять значения, используемые в вычислениях ИИ. Чем точнее выполняется этот шаг, тем более плавно могут протекать последующие процессы.

Далее, транспортные маршруты, такие как взлетно-посадочные полосы, рулежные дорожки и посадочные мосты, должны быть спроектированы для эффективного перемещения. Сложные маршруты или «узкие места» могут замедлить работу аэропорта в целом. Это соответствует неячеечной оптимизации, которая снижает накладные расходы, связанные со словными линиями и периферийными структурами, используемыми для выбора и управления ячейками. Повышение эффективности путей, по которым течет ток, помогает снизить энергопотребление и задержки.

Наконец, графики взлета и посадки также должны быть скоординированы. Даже в рамках одной и той же инфраструктуры аэропорта плохо организованные последовательности рейсов и распределение времени могут увеличить время ожидания. Аналогичным образом, производительность A-CiM зависит от последовательности и единиц, в которых данные организованы для вычислений. В конечном счете, A-CiM на базе 3D FeNAND может снизить нагрузку от перемещения данных и повысить эффективность вычислений ИИ, когда схемы ячеек, неячеечные схемы и страничные схемы оптимизированы для совместной работы.

В1. Как следует интерпретировать улучшение пропускной способности примерно в 10–20 раз и улучшение энергоэффективности в 4000–5000 раз, о которых сообщается в статье?

Эти цифры отражают преимущество высокой плотности 3D FeNAND по сравнению с обычными 2D-массивами энергонезависимой памяти, которые широко изучались в качестве кандидатов для A-CiM. В условиях ограниченной площади чипа обычные 2D-массивы имеют ограниченную емкость хранения и поэтому требуют многократной перезагрузки весов, что приводит к значительному энергопотреблению из-за перемещения и перезаписи данных.

Напротив, 3D FeNAND может хранить больше весов одновременно и использовать их непосредственно для вычислений, что снижает необходимость в перезагрузке. Это увеличивает пропускную способность при одновременном снижении энергопотребления. Способность выполнять больше вычислений с меньшими затратами энергии на той же площади является ключевым фактором повышения производительности, продемонстрированного в этом исследовании.

В2. Какая техническая проблема была самой сложной, с которой вы столкнулись во время исследования?

Самым сложным аспектом было то, что проблемы, которые нам нужно было решить, не ограничивались одной областью. Повышение производительности A-CiM на базе 3D FeNAND потребовало от нас одновременного рассмотрения схем ячеек, неячеечных схем и страничных схем. Поскольку это требовало комплексного понимания сегнетоэлектрических устройств, архитектуры NAND и рабочих нагрузок ИИ, это была структурная проблема, которую невозможно было решить с помощью опыта в какой-то одной области.

Преодоление этой проблемы потребовало сотрудничества между исследователями с различными областями знаний. Исследователи в каждой области делились своими результатами оптимизации и включали идеи из других областей в свою собственную работу. Это в конечном итоге позволило нам достичь совместной оптимизации схем ячеек, неячеечных схем и страничных схем как единой интегрированной системы.

В3. Что это исследование говорит о будущем направлении технологии NAND?

Данное исследование предполагает, что NAND может эволюционировать из простого носителя данных в полноценную вычислительную платформу. В частности, FeNAND на основе сегнетоэлектрических материалов продемонстрировала более высокую энергоэффективность по сравнению с традиционными 2D-массивами энергонезависимой памяти и 3D CTN NAND, что подтверждает её потенциал в качестве энергоэффективной платформы для вычислений в памяти (A-CiM) с низким энергопотреблением.

Этот подход может выйти за рамки вычислений для ИИ и применяться в других задачах, ориентированных на работу с данными, включая поиск в памяти. С точки зрения разработки сверхплотной и энергоэффективной вычислительной платформы для крупномасштабных моделей ИИ, данное исследование открывает новое направление для развития технологии NAND.