Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Otlozhennaya zagruzka instrumentov sdelayte svoego agenta na 625 deshevle bez sm
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Отложенная загрузка инструментов: сделайте своего агента на 62,5% дешевле без смены модели или обвязки

Источник: Baseten•19 ноября 2026 г. в 18:19

Отложенная загрузка инструментов: сделайте своего агента на 62,5% дешевле без смены модели или обвязки

Мы внедрили отложенную загрузку инструментов для открытых моделей, что позволило сделать агентов для написания кода до 62% дешевле и на 26% быстрее при использовании той же модели и обвязки.

AI-инжиниринг

Мы внедрили отложенную загрузку инструментов для открытых моделей, что позволило сделать агентов для написания кода до 62% дешевле и на 26% быстрее при использовании той же модели и обвязки.

Авторы

Лучший способ сократить расходы и ускорить работу ваших агентов всегда был у всех на виду.

Создание обвязок (harnesses) эволюционировало от дисциплины добавления к дисциплине вычитания, по мере того как мы переходим в мир компактных, прагматичных обвязок, основанных на «горьком уроке». Краевые случаи и защитные механизмы, которые раньше использовались для контекстуализации модели при выполнении задачи, теперь чаще всего являются избыточными.

Так как же позволить суждениям и интеллекту модели проявиться в полной мере? Один из способов сделать это на практике — извлекать инструменты «точно в срок» (just in time) для каждой конкретной задачи, вместо их предварительной загрузки; это называется отложенной загрузкой инструментов. Эту технику также можно рассматривать как форму постепенного раскрытия, применяемую к инструментам для уменьшения бесполезного расхода контекста.

Предположим, вы подключаете своего агента к любому шлюзу, чтобы иметь возможность переключаться между передовыми моделями и моделями с открытым исходным кодом. В теории это должно работать отлично. Однако большинство из них не поддерживают отложенную загрузку инструментов, которая обычно поддерживается API OpenAI и Anthropic. И Codex, и Claude Code отключают отложенную загрузку инструментов при подключении к стороннему провайдеру открытых моделей (например, Baseten). Вам нужно не забыть включить её обратно и убедиться, что провайдеры открытых моделей поддерживают эту парадигму, поскольку она требует специфической реализации шлюза на стороне сервера и вывода (inference).

В результате шлюзы, поддерживающие эти модели, отстали. Без отложенной загрузки инструментов каждая схема инструмента из ваших зарегистрированных MCP, включая многие неиспользуемые, неэффективно передается с каждым запросом, что легко обходится в сотни тысяч токенов.

Мы недавно добавили отложенную загрузку инструментов для открытых моделей (DeepSeek, Kimi, GLM) в Baseten Model APIs для поддержки форматов Chat Completions и Messages API. В Claude Code при включенных 3 MCP (Slack, Notion, Baseten) бенчмарки по написанию кода оказались в среднем на 62,5% дешевле и на 26,2% быстрее. Для агентских бенчмарков мы использовали предустановленные инструменты и MCP из бенчмарка и обнаружили, что выполнение задач в среднем обходится на 51,1% дешевле и происходит на 14,9% быстрее.

Как работает отложенная загрузка инструментов

Если сделать шаг назад, то ближайшая аналогия отложенной загрузки инструментов пришла из веб-разработки. Современная фронтенд-разработка опирается на «ленивую» загрузку (lazy loading), которая откладывает получение ресурсов до момента, когда они действительно понадобятся; агенты не должны быть исключением. Отложенная загрузка инструментов исключает все инструменты из системного промпта и предоставляет моделям инструмент поиска, чтобы они могли найти нужный инструмент именно тогда, когда он им понадобится.

Активная (eager) загрузка инструментов

Без отложенной загрузки инструментов для каждого зарегистрированного вами MCP/плагина (Slack, Notion, Baseten) полный список инструментов, предоставляемых этим MCP, и их схемы внедряются в системный промпт в самом начале. Например, при регистрации 3 серверов MCP схемы вызовов инструментов добавляли около 141 тыс. токенов к нашему системному промпту при каждом запросе. Отложенная загрузка сократила это число до ~1,3 тыс. токенов. Итак, как отложенная загрузка инструментов работает «под капотом» в обвязке и откуда берется экономия?

При активной загрузке инструментов все схемы инструментов передаются в API при каждом запросе вместе с системным промптом. Это приводит к очень раздутому кэшу. Хотя этот префикс кэшируется, каждый выходной токен обращается ко всем существующим кэшированным записям KV, что приводит к значительно большим вычислительным затратам и, следовательно, к увеличению времени выполнения.

Отложенная загрузка инструментов

Для сравнения, отложенная загрузка работает путем первоначальной передачи имен инструментов плюс инструмента tool_search (~1,3 тыс. токенов) (см. диаграмму поиска инструментов клиентом). Когда модели требуется один или несколько инструментов, она вызывает tool_search, и клиент возвращает список блоков tool_reference с именами соответствующих инструментов. Затем сервер отображает полную схему внутри транскрипта, вместо изменения системного промпта, поэтому KV-кэш, построенный поверх префикса, остается валидным. Наконец, ассистент вызывает нужный инструмент.

Это сохраняет KV-кэш, поскольку будущие запросы используют тот же префикс через вызов tool_search, при этом только отображенная схема и последующие шаги добавляются как новые токены. В обоих режимах во время декодирования каждый новый токен обращается к каждому токену в кэшированном контексте, поэтому стоимость внимания (attention cost) на токен масштабируется линейно с длиной контекста.

В активном режиме контекст включает полный список схем инструментов, независимо от того, используются они или нет, что означает чтение ~141 тыс. записей KV для каждого сгенерированного токена. Помните, что стоимость внимания примерно равна n * длина вывода на каждый запрос, необходимый для выполнения задачи, где n — количество токенов в KV-кэше. В нашем примере n примерно в 100 раз выше при активной загрузке. Следовательно, меньший префикс с высокой частотой попаданий благодаря отложенной загрузке делает каждый шаг декодирования дешевле, что приводит к более быстрому времени обслуживания запроса и лучшему опыту разработки.

Бенчмаркинг отложенной загрузки инструментов на стороне сервера

Мы отобрали 55 задач из 8 бенчмарков. Для каждой задачи мы использовали GLM 5.3 с отложенной загрузкой инструментов и без неё, чтобы измерить стоимость и время.

Мы хотели протестировать два типа сценариев использования обвязки для написания кода. Какую пользу дает отложенная загрузка инструментов для почти чисто задач по написанию кода, например, когда вы даете план и просите сделать PR? Они требуют минимального количества вызовов инструментов, однако стоимость всех зарегистрированных инструментов MCP проникает в каждый запрос.

В чем польза для агентских задач, где модель должна искать множество инструментов и проходить через циклы обнаружения инструментов? Мы выбрали эти две группы бенчмарков и хотели понять компромиссы отложенной загрузки инструментов. Мы обнаружили, что отложенная загрузка инструментов работает лучше, чем активная, в обоих случаях и редко имеет недостатки.

Для бенчмарков по написанию кода мы выбрали комбинацию:

  • Terminal-Bench

Terminal-Bench

  • SWE-bench Verified

SWE-bench Verified

  • SWE-bench Pro v2

SWE-bench Pro v2

  • DeepSWE v1.1

DeepSWE v1.1

Для агентских бенчмарков мы использовали:

  • MCP-Atlas

MCP-Atlas

  • AutomationBench

AutomationBench

  • ComplexMCP

ComplexMCP

  • Toolathlon-GYM

Toolathlon-GYM

Мы запускали эти задачи без графического интерфейса в Claude Code; для бенчмарков по написанию кода мы зарегистрировали 3 MCP (Slack, Notion, Baseten), а для агентских бенчмарков мы не регистрировали никаких MCP, кроме тех, что были включены в бенчмарки изначально.

Стоимость (% изменения)

Бенчмарки по написанию кода сэкономили в среднем 62,5% затрат, в то время как агентские бенчмарки сэкономили в среднем 51,1% по сравнению с активным режимом. Мы обнаружили, что экономия затрат выше, когда:

  • Зарегистрировано много или объемных MCP

Зарегистрировано много или объемных MCP

  • Много запросов для выполнения задачи (каждый экономит значительную часть входных токенов), как в агентских бенчмарках

Много запросов для выполнения задачи (каждый экономит значительную часть входных токенов), как в агентских бенчмарках

Время (% изменения)

Общее время выполнения задачи сокращается, поскольку каждый запрос в среднем содержит меньше токенов. Стоимость выходного токена линейно зависит от длины последовательности с большой константой n, где n — размер кэша KV. Даже в агентских бенчмарках, где модели требовалось выполнять много поисковых запросов для загрузки необходимого инструмента, время значительно улучшилось. Мы также измерили среднее количество вызовов инструментов на задачу; только в бенчмарке Toolathlon-GYM (68 вызовов инструментов) мы увидели, что упреждающая загрузка инструментов (или отключение отложенной загрузки инструментов) непосредственно в системном промте более эффективна. Задачи DeepSWE и MCP-Atlas выполнялись немного медленнее, но мы считаем это незначительным, поскольку экономия средств перевесила небольшое увеличение времени.

Заключение:

Отложенная загрузка инструментов — это мощный шаблон для управления разрастанием MCP и инструментов в уже используемых вами агентских средах. Она также доступна через API, если вы создаете внутреннюю среду с учетом контекста для вашей организации. Добавив поддержку этой функции для открытых моделей на Baseten Model APIs, мы показали, что отложенная загрузка инструментов может обеспечить значительную экономию токенов и времени выполнения задач на агентских и кодинговых бенчмарках.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Как Performance Factory от OpenAI поддерживает высокую скорость работы ChatGPT
OpenAI

Как Performance Factory от OpenAI поддерживает высокую скорость работы ChatGPT

Как Candid Health автоматизирует звонки плательщикам с помощью ElevenAgents
ElevenLabs

Как Candid Health автоматизирует звонки плательщикам с помощью ElevenAgents

Amazon начинает кампанию внутри приложений против поддерживаемого Мамдани законопроекта о доставке в Нью-ЙоркеПресса
Amazon

Amazon начинает кампанию внутри приложений против поддерживаемого Мамдани законопроекта о доставке в Нью-Йорке

Theorizer приходит в Asta
AI2 (Allen Institute for AI)

Theorizer приходит в Asta

LangSmith Tool Gateway: безопасное и управляемое использование инструментов для агентов
LangChain

LangSmith Tool Gateway: безопасное и управляемое использование инструментов для агентов

Сезон стриминга и выгоды: скидки Чёрной пятницы приходят в GeForce NOW
NVIDIA

Сезон стриминга и выгоды: скидки Чёрной пятницы приходят в GeForce NOW

Ещё от Baseten

Baseten теперь доступен в Microsoft Foundry
Baseten

Baseten теперь доступен в Microsoft Foundry

Представляем Baseten Voice Agent Stack: полный контроль и оптимизация голосовых агентов
Baseten

Представляем Baseten Voice Agent Stack: полный контроль и оптимизация голосовых агентов

Как Baseten и Genspark обучили модель для глубоких исследований, превзошедшую Opus 5.5
Baseten

Как Baseten и Genspark обучили модель для глубоких исследований, превзошедшую Opus 5.5

Самая быстрая в мире синхронизация дельт весов
Baseten

Самая быстрая в мире синхронизация дельт весов

Расписания автомасштабирования: сокращение задержек холодного старта при прогнозируемом трафике
Baseten

Расписания автомасштабирования: сокращение задержек холодного старта при прогнозируемом трафике

Baseten и Postman: создание надежных и экономически эффективных агентов для бизнеса
Baseten

Baseten и Postman: создание надежных и экономически эффективных агентов для бизнеса