Новый плагин обеспечивает быстрый мониторинг и управление во время выполнения

Многое происходит «под капотом», когда большая языковая модель (LLM) обрабатывает входящий промпт и формирует ответ. Однако практически ничто из этого генеративного процесса не попадает в текст, который в конечном итоге видят пользователи.

Вы можете сделать видимым скрытый «мыслительный» процесс LLM с помощью различных инструментов интерпретации и управления поведением ИИ-моделей, но большинство из них несовместимы с механизмами инференса, оптимизированными по скорости. В производственных средах, где безопасность, тон и точность модели имеют наибольшее значение, такие инструменты безопасности обычно вызывают большие задержки. Из-за этого остается две альтернативы: обучение легковесных адаптеров для решения конкретных проблем или переобучение модели с пересчетом ее весов.

Новая библиотека плагинов от IBM отходит от доработки моделей и вместо этого нацелена на механизм инференса, который их обслуживает. Названная vLLM-Hook MIA, она разработана для того, чтобы позволить разработчикам наблюдать за изменяющимися состояниями модели во время выполнения и управлять ими — например, отклонять вредоносные промпты, отмечать «галлюцинации» в фактах или редактировать ответ для соответствия тону и точности, и все это практически без замедления производительности.

MIA (model internals aperture) создана для vLLM, основного открытого механизма инференса, обслуживающего корпоративные рабочие нагрузки сегодня. В новом техническом отчете исследователи IBM сообщили, что vLLM-Hook MIA работает до 20 раз быстрее своего предшественника, vLLM-Hook, и до 14 раз быстрее аналогичного метода, который внедряет код в модель для взаимодействия с ней.

«Мы показываем, что можно наблюдать за процессом генерации ИИ-модели и вмешиваться в него без серьезных задержек в производительности», — говорит Айрин Ко (Irene Ko), исследователь IBM и руководитель проекта vLLM-Hook. — «Мы надеемся, что это сделает проведение проверок безопасности в последнюю минуту в vLLM более практичным».

Скорость против прозрачности

Современные механизмы инференса созданы для скорости, и одной из их ключевых особенностей производительности является так называемый захват и воспроизведение графов (graph capture and replay), обычно реализуемый с помощью CUDA Graphs от NVIDIA. vLLM захватывает повторяющиеся этапы выполнения, такие как прямой проход фазы декодирования, в фиксированный граф выполнения. Затем вместо запуска графических процессоров (GPU) по одному среда выполнения отправляет единую команду воспроизведения графа, уменьшая узкие места центрального процессора (CPU).

Эта функция эффективности является ключом к высокой пропускной способности vLLM. Она же делает мониторинг и управление LLM во время выполнения столь сложными. Чтобы изучить или изменить нейронные активации модели, многим инструментам интерпретируемости требуется выполнять код Python внутри каждого слоя модели. Однако в vLLM это можно сделать только путем отключения захвата и воспроизведения графов и переключения в режим «нетерпеливого» (eager) выполнения.

В поисках обходного пути исследователи IBM сосредоточились на воспроизведении графов. В MIA, последней версии vLLM-Hook, операторы GPU захватывают внутренние элементы модели и управляют ими до того, как граф будет записан. Затем «планировщик» (scheduler) и «курьер» (courier) управляют доступом к внутренним состояниям и потокам данных без прерывания эффективной обработки vLLM.

Разработчик указывает, какие внутренние элементы модели он хочет захватить или контролировать, а планировщик преобразует эти выборы в записи маршрутизации, хранящиеся по фиксированным адресам памяти GPU. Во время воспроизведения графа GPU использует эти записи для выполнения запроса разработчика. Затем курьер переносит захваченные данные в память CPU для выдачи вместе с результатами модели.

Мы надеемся, что это сделает проведение проверок безопасности в последнюю минуту в vLLM более практичным.

Мы надеемся, что это сделает проведение проверок безопасности в последнюю минуту в vLLM более практичным.

Переход инструментов интерпретируемости от исследований к продакшену

Как и многие новые технологии, vLLM-Hook началась с проблемы. В сотрудничестве со своими коллегами Ко и Пин-Ю Чэнь (Pin-Yu Chen), исследователь IBM, занимающийся вопросами безопасности ИИ, разработали инструмент отслеживания внимания для выявления промптов, потенциально предназначенных для того, чтобы обманом заставить модели разглашать информацию, которую они не должны раскрывать. Трекер Чэня анализирует паттерны внимания модели во время инференса и выделяет отклонения, указывающие на то, что она может собираться проигнорировать свои защитные барьеры.

В исследовательских средах трекер внимания работал нормально. С продакшеном дело обстояло иначе. «Я сказал, что это отличная идея, но заставить ее работать в vLLM будет мучительно», — сказал Дэвид Кокс (David Cox), вице-президент IBM, руководящий разработкой ИИ. — «Они приняли это замечание близко к сердцу и начали создавать точки расширения для vLLM».

Работая с Чэнем и Юньхуа Фаном (Yunhua Fang), стажером из Политехнического института Ренсселера, Чэнь понял, что внедрение «хуков» (hooks) Python в слои декодера прямого прохода модели может сделать процесс генерации vLLM видимым. С помощью нескольких фрагментов кода они могли выбирать и захватывать изменяющиеся состояния модели, немного напоминающие магнитофон, запрограммированный на запись в назначенные моменты.

Вы можете либо «читать» эти выбранные состояния, либо «перезаписывать» их, чтобы улучшить ответ модели. Команда выпустила первую версию vLLM-Hook ранее в этом году. Когда они задействовали свой трекер внимания, они увидели ускорение в 1,7 раза по сравнению с библиотекой Hugging Face transformers, где впервые развертываются многие исследовательские инструменты.

Чтобы еще больше повысить производительность, они искали способ доступа к внутренним состояниям модели без отключения воспроизведения графа — быстрого режима выполнения vLLM. Результатом стала MIA. В ходе экспериментов Чэнь и Ко показали, что при использовании vLLM-Hook-MIA для управления относительно небольшими моделями (8B Llama и Qwen 1.5B) задержка инференса в некоторых случаях составляла всего 2%. При запуске гораздо более крупной модели Llama 70B накладные расходы на управление увеличились всего до 6%.

Неудивительно, что MIA превзошла методы, которые полагались на отключение функции воспроизведения графа vLLM для обеспечения мониторинга и управления во время выполнения. Она значительно превзошла как первую версию vLLM-Hook, так и vLLM-Lens, плагин, разработанный правительством Великобритании, который также использует хуки Python для взаимодействия со слоями модели.

MIA даже превзошла EasySteer, метод управления, который «форкает» vLLM для добавления изменений в копию официального репозитория на GitHub на стороне сервера. Форкинг оставляет воспроизведение графа включенным, но требует от разработчиков постоянной синхронизации своего репозитория с vLLM, что проект официально не одобряет из-за его частых обновлений.

Что дальше

Инструменты, способные обеспечить аналитику в реальном времени и контроль над генерацией контента ИИ, могут стать последней линией обороны для предприятий с низким уровнем толерантности к риску. В ходе экспериментов исследователи IBM показали, что vLLM-Hook MIA может обеспечить этот дополнительный уровень защиты.

Чтобы дать сообществу разработчиков открытого кода больше опыта использования этих инструментов, исследователи из IBM и других организаций недавно анонсировали The Steerability Challenge, связанный с предстоящей NeurIPS 2026 конференцией в Сиднее, Австралия. Участники могут побороться за призы в размере 25 000 долларов, создав набор управляющих воздействий, которые подавляют «нечестное» поведение без ухудшения общих возможностей модели.

Быстрое обслуживание клиентов является главной заботой для предприятий, внедряющих ИИ, но интерпретируемость и контроль волнуют их не меньше. С vLLM-Hook MIA быстрый инференс и более прозрачный, управляемый ИИ могут идти рука об руку.