Проднунирование экспертов высшего порядка в языковых моделях на основе смеси экспертов (Mixture-of-Experts)
Введение
Модели типа «смесь экспертов» (Mixture-of-Experts, MoE) позволили масштабировать передовые языковые модели до сотен миллиардов параметров, но они сопряжены с фундаментальным и дорогостоящим нюансом: каждый экспертный MLP должен занимать память во время инференса, даже если подавляющее большинство из них бездействуют для любого конкретного токена. Например, модель Qwen3.5-122B имеет 256 экспертов в каждом из своих 48 слоев MoE, и 95% ее памяти параметров (около 250 ГБ) занято целиком этими экспертными MLP. Однако для любого конкретного токена в каждом слое фактически используются только 8 экспертов.
Прунинг (сокращение) экспертов — одно из самых прямых решений этой проблемы узкого места памяти. То есть перманентное удаление наименее полезных экспертов. Прунинг позволяет избежать проблем с задержкой, которые делают динамическую загрузку/выгрузку экспертов непрактичной; он не требует никакого обучения и сочетается с квантованием. Учитывая эти привлекательные преимущества и простоту идеи, легко понять, почему прунинг экспертов стал излюбленным методом уменьшения размеров MoE. Сложность заключается в определении того, каких экспертов безопаснее всего удалить.
Существующие методы прунинга оценивают каждого эксперта независимо, присваивая каждому эксперту скалярную оценку важности (на основе калибровочного датасета) и отсекая наименее важных экспертов (в каждом слое независимо). Это методы первого порядка, поскольку они предполагают, что вклад каждого эксперта не зависит от остальных. На самом деле эксперты образуют кооперативные группы. В наших собственных экспериментах мы наблюдаем устойчивые кластеры совместно активируемых экспертов, а независимые исследования показали, что сотрудничество экспертов является стабильным свойством MoE и важно для производительности модели. Игнорирование этих взаимодействий приводит к неоптимальному прунингу, особенно при высоких темпах сокращения.
Наша новая статья представляет HOPE (Higher-Order Pruning of Experts) — метод второго порядка, учитывающий попарные взаимодействия экспертов. При 50-процентном прунинге HOPE достигает лучшего среднего ранга среди всех методов, с приростом до +6.1% на задачах агентного кодирования по сравнению со следующим по эффективности методом прунинга.
В этой статье мы объясним, как работает HOPE, покажем, в чем он превосходит существующие методы, и расскажем, как использовать его для ваших собственных моделей. Читателям, не знакомым с архитектурами MoE, рекомендуем ознакомиться со статьей «Смесь экспертов (MoE) в Трансформерах».
Эксперты не работают в одиночку
В стандартной модели MoE каждый слой имеет E экспертов, и каждый входной токен x независимо направляется к K таким экспертам (K=8 — типичный выбор). Маршрутизация выполняется одним слоем, который создает нормализованные с помощью softmax веса шлюза gk(x)g_{k}(x) для каждого эксперта k, причем K экспертов с наибольшими весами шлюза выбираются для формирования активного набора экспертов T(x)⊂{1,..,E}T(x) \subset\{1,..,E\}. Выходными данными слоя тогда являются ∑k∈T(x)gk(x)fk(x)\sum\limits_{k\in T(x)}g_{k}(x)f_{k}(x), где fk(x)f_{k}(x) — выходные данные эксперта k для токена x.
Слева: типичный слой MoE, где каждый токен направляется к top-K экспертам. Справа: методы первого порядка ранжируют и удаляют экспертов на основе скалярной оценки важности, однако лучшие решения по прунингу также учитывают силу взаимодействия между экспертами.
Важно отметить, что эксперты в выбранном наборе T(x)T(x) не являются независимыми. Эксперты образуют стабильные кооперативные группы, которые стабильно активируются вместе. Это также наблюдалось ранее в литературе: паттерны совместного выбора экспертов возникают на ранних этапах обучения и стабилизируются в дальнейшем.
Это означает, что при удалении экспертов из слоя MoE решения о прунинге должны учитывать эффекты высшего порядка между этими экспертами. Удаление эксперта A может показаться нормальным само по себе, но если эксперт B, который часто сотрудничает с A и полагается на него, обладает высокой важностью, то удаление A разрушит кооперативную группу посредством всего одного удаления. Методы первого порядка упускают это полностью, поскольку они оценивают A и B по отдельности.
Этот эффект усиливается при высоких коэффициентах прунинга. Когда мы удаляем до 50% экспертов, мы рискуем разорвать множество кооперативных связей. Именно здесь прунинг второго порядка наиболее выгоден.
Как HOPE определяет набор для прунинга
(См. Приложение А в нашей сопутствующей статье для полного вывода целевой функции HOPE)
Когда мы удаляем набор P экспертов из некоторого слоя MoE, выбранный набор экспертов T(x)T(x) (для любого токена x) может измениться. Удаленные эксперты, которые были бы выбраны, заменяются экспертами со следующими по величине весами шлюза. Получившееся изменение выходных данных слоя представляет собой ошибку прунинга. Наша цель — найти набор для прунинга P (с некоторым заранее определенным бюджетом прунинга ∣P∣\vert P\vert), который минимизирует возникающую ошибку прунинга (по токенам x из нашего калибровочного набора).
К сожалению, прямая минимизация ошибки прунинга по P неразрешима. Ошибка прунинга зависит от идентичности экспертов на замену, которые, в свою очередь, зависят от самого набора для прунинга P. HOPE обходит это затруднение, определяя разрешимый суррогат Z, который строго ограничивает сверху доминирующий компонент ошибки прунинга:
Z=[∑j∈P∩T(x)gj(x)∥fj(x)∥2]2≥истинная ошибкаZ = \bigl[\sum\limits_{j \in P\cap T(x)} g_{j}(x)\Vert f_j(x)\Vert_{2}\bigr]^{2} \geq \text{true error}
Поскольку Z представляет собой сумму квадратов, ее раскрытие естественным образом порождает перекрестные члены gi(x)gj(x)∥fi(x)∥2∥fj(x)∥2g_{i}(x)g_{j}(x)\Vert f_{i}(x)\Vert_{2}\Vert f_{j}(x)\Vert_{2} между парами экспертов. Это те самые члены взаимодействия, которые методы первого порядка отбрасывают.
Чтобы найти оптимальный набор для прунинга, HOPE минимизирует E[Z]\mathbb{E}[Z] по калибровочному набору, что может быть переформулировано в следующую задачу квадратичного программирования:
P∗=arg minp p⊤Fps.t.p∈{0,1}E,∑k=1Epk=∣P∣P^{*} = \argmin_{p}\; p^{\top}Fp \quad \text{s.t.} \quad p \in \{0,1\}^{E}, \sum\limits_{k=1}^{E}p_{k} = \vert P\vert
где F∈RE×EF\in\mathbb{R}^{E\times E} определяется как:
Fi,j=1∣Xi,j∣∑x∈Xi,jgi(x)gj(x)∥fi(x)∥2∥fj(x)∥2гдеXi,j={x:i,j∈T(x)}F_{i,j} = \frac{1}{\vert \mathcal{X}_{i,j}\vert} \sum\limits_{x\in\mathcal{X}_{i,j}} g_{i}(x)g_{j}(x)\Vert f_{i}(x)\Vert_{2}\Vert f_{j}(x)\Vert_{2}\quad\text{where}\quad \mathcal{X}_{i,j} = \{x: i,j \in T(x)\}
Эта F-матрица собирается на калибровочном датасете, а оптимальный набор для прунинга получается путем решения полученной задачи квадратичного программирования (QP) с непрерывной релаксацией (с последующим округлением до бинарных решений). Каждый элемент Fi,jF_{i,j} фиксирует среднее произведение взвешенных шлюзом выходных данных экспертов i и j на токенах, где оба они активированы совместно. В то время как диагональ Fk,kF_{k,k} измеряет индивидуальную важность эксперта, недиагональные элементы ( Fi,jF_{i,j} для i≠ji\neq j) измеряют попарный кооперативный вклад.
Как выглядит F на практике? Она показывает структуру экспертного сотрудничества, которая зависит от слоя:
Визуализация матрицы взаимодействия F для GLM-4.5-Air (128 экспертов на слой, всего 106 млрд параметров) на трех репрезентативных слоях (раннем, среднем, позднем). Эксперты были кластеризованы для выявления блочной структуры. Яркие блоки вдоль диагонали указывают на группы экспертов с высокими баллами попарного взаимодействия.
С точки зрения практических затрат, HOPE требует такого же прохода калибровки, как и любой другой метод прунинга экспертов (один прямой проход по калибровочным данным). Единственное дополнение — решение квадратичной программы, которая является невыпуклой, но может быть эффективно решена с помощью стандартного решателя квадратичного программирования (1–2 секунды на каждый слой). Общие дополнительные накладные расходы ничтожно малы по сравнению с методами первого порядка, так как доминирующее время уходит на калибровку.
Связь с REAP
Примечательно, что HOPE имеет сильную связь с методом прунинга экспертов на основе взвешенной маршрутизации (REAP), который является современным методом прунинга экспертов первого порядка. Матрица F в HOPE кодирует оценки индивидуальной важности экспертов на диагонали, и эта диагональ эффективно восстанавливает оценки, используемые REAP для независимого ранжирования экспертов при прунинге (отличаясь только дисперсией вкладов экспертов). Диагональ FF почти идеально восстанавливает рейтинги экспертов REAP (Спирмен ρ=0,988\rho = 0.988). Таким образом, любое улучшение, достигаемое HOPE по сравнению с REAP, объясняется членами взаимодействия второго порядка во внедиагональных элементах матрицы FF.
Результаты
Мы оценили HOPE как метод прунинга экспертов, используя 3 модели (Qwen3.5-122B, Qwen3.5-35B и GLM-4.5-Air) и 2 набора калибровочных данных (траектории Evol-CodeAlpaca и SWE-Bench Verified). Мы использовали набор тестов Tulu3 и SWE-Bench Pro (агентное программирование) для тестирования полученных усеченных моделей, сравнивая HOPE с 4 базовыми методами первого порядка (, MAN, EAN и Frequency) при скоростях прунинга от 10% до 50%.
HOPE достигает лучшего общего ранга среди всех условий и доминирует при агрессивных коэффициентах прунинга. Слева: средний ранг (ниже = лучше) по всем моделям, наборам калибровки и бенчмаркам. Справа: производительность на SWE-Bench Pro для Qwen3.5-35B.
В любых условиях HOPE достигал лучшего среднего ранга (2,07 из 5 методов), с самым высоким процентом первых мест (39% условий) и вторых мест (67%). При прямом сравнении HOPE превосходит каждый из остальных базовых методов в большинстве условий.
Как и ожидалось, преимущество HOPE возрастает при более высоких коэффициентах прунинга. По мере удаления большего числа экспертов разрывается больше кооперативных связей, и внедиагональные члены FF приобретают большую важность. При 50% прунинга средний ранг HOPE улучшается до 1,58 (против 2,42 у ближайшего конкурента, REAP). Это также наиболее актуальный для развертывания сценарий, в котором экономия памяти достаточно велика для обеспечения более длинных контекстов, более глубоких рассуждений и большего числа вызовов инструментов.
Преимущество HOPE наиболее выражено на SWE-Bench Pro, бенчмарке агентного программирования, где модели должны автономно решать реальные проблемы на GitHub. Эти задачи включают в себя композиционно разнообразные задачи (например, кодинг, вызовы инструментов, рассуждения и т. д.) на протяжении множества шагов и, вероятно, задействуют различные комбинации экспертов — именно тот режим, в котором сохранение кооперативной структуры имеет наибольшее значение. На модели Qwen3.5-35B-A3B при 50% прунинга HOPE набрал 42,3 балла на SWE-Bench Pro, сравнявшись с моделью без прунинга, у которой было 41,8 балла (в то время как у REAP показатель упал до 36,2, что означает регрессию на 13%).
Примечательно, что усеченные модели иногда могут соответствовать или превосходить базовую модель без прунинга, вероятно, потому, что удаление экспертов с низкой релевантностью снижает уровень шума при решении целевых задач. Этот эффект не уникален для HOPE и наблюдался у различных методов прунинга. Более того, наши эксперименты показали, что ориентированная на код калибровка с использованием любого метода прунинга (включая HOPE) не приводит к серьезному ухудшению результатов на некодовых бенчмарках, и HOPE показал хорошие результаты на всем наборе тестов Tulu3 независимо от набора калибровки.
HOPE сохраняет больше кооперирующихся экспертов
Средняя сила кооперации (измеряемая значением матрицы F) с оставленными экспертами, разделенная по экспертам, в отношении которых мнения HOPE и REAP расходятся.
Преимущество HOPE проистекает из оптимизации всей матрицы взаимодействия FF. Чтобы понять, как это влияет на решения о прунинге на практике, мы исследуем экспертов, в оценке которых HOPE и REAP расходятся. Для каждого спорного эксперта мы вычисляем его показатель кооперативности (т. е. его среднее значение F с другими оставленными экспертами). Эксперты, сохраненные только HOPE, постоянно имеют более высокие показатели кооперативности, чем эксперты, сохраненные только REAP. Другими словами, в рамках оптимизации QP HOPE жертвует некоторыми экспертами с индивидуально высокими баллами в пользу сохранения кооперативных кластеров. Прирост производительности на бенчмарках (показанный выше) подтверждает, что этот компромисс является выгодным.
Как запустить HOPE
Мы создали базовый package для запуска HOPE. Он состоит из трех шагов: 1) калибровка; 2) решение; 3) прунинг. Наш пакет был протестирован на Qwen3, Qwen3-Next, Qwen3.5 и GLM-4.5.
Шаг 1: Калибровка
Этап калибровки выполняет один прямой проход по калибровочным данным, будь то агентские траектории или одношаговые проходы. Для этого используются трансформаторы HuggingFace для подключения к прямому проходу каждого отдельного слоя MoE. Для каждого токена записываются выбранные эксперты, их веса гейтов, нормы выходов и статистика попарной ко-активации. Результатом этого шага является матрица F, сохраняемая в файл HDF5.
Шаг 2: Решение QP
Эта команда материализует матрицу F и решает задачу бинарного квадратичного программирования с помощью непрерывной релаксации. Это занимает несколько секунд на слой, а результатом является файл JSON, содержащий набор для прунинга. Технически это финальный результат алгоритма HOPE.
Шаг 3: Прунинг
Чтобы завершить конвейер, мы запускаем эту команду, чтобы фактически создать меньший чекпоинт модели на основе набора для прунинга. Усеченная модель представляет собой стандартный чекпоинт HuggingFace, который занимает меньше места на диске и в памяти (никаких изменений в определениях моделей vLLM или SGLang не требуется).
Мы также выпустили более компактный API на Python:
Ограничения HOPE
Преимущество HOPE наиболее выражено при более высоких коэффициентах прунинга (40–50%). При более низких коэффициентах прунинга (10–20%) методы первого порядка, такие как REAP и MAN, порой конкурентоспособны, и преимущество HOPE уменьшается. Кроме того, как и в случае с большинством алгоритмов прунинга экспертов, HOPE выполняет прунинг каждого слоя независимо и не учитывает межслойные взаимодействия. В нашей статье мы представили теоретическую основу для межслойного HOPE, но результаты пока остаются предварительными. Наконец, HOPE фиксирует попарные взаимодействия, но даже взаимодействия более высокого порядка (триплеты и выше) могли бы дать дополнительный сигнал, хотя их комбинаторно сложно оценить.
Дополнительная информация
Для получения дополнительной информации см. нашу сопутствующую статью и кодовую базу.
Статья:
Код:
Чтобы узнать, как HOPE может применяться к гибридным архитектурам нового поколения, см. наш соответствующий репозиторий.
Цитирование:
