AI-инжиниринг
Мы внедрили отложенную загрузку инструментов для открытых моделей, что позволило сделать агентов для написания кода до 62% дешевле и на 26% быстрее при использовании той же модели и обвязки.
Авторы
Лучший способ сократить расходы и ускорить работу ваших агентов всегда был у всех на виду.
Создание обвязок (harnesses) эволюционировало от дисциплины добавления к дисциплине вычитания, по мере того как мы переходим в мир компактных, прагматичных обвязок, основанных на «горьком уроке». Краевые случаи и защитные механизмы, которые раньше использовались для контекстуализации модели при выполнении задачи, теперь чаще всего являются избыточными.
Так как же позволить суждениям и интеллекту модели проявиться в полной мере? Один из способов сделать это на практике — извлекать инструменты «точно в срок» (just in time) для каждой конкретной задачи, вместо их предварительной загрузки; это называется отложенной загрузкой инструментов. Эту технику также можно рассматривать как форму постепенного раскрытия, применяемую к инструментам для уменьшения бесполезного расхода контекста.
Предположим, вы подключаете своего агента к любому шлюзу, чтобы иметь возможность переключаться между передовыми моделями и моделями с открытым исходным кодом. В теории это должно работать отлично. Однако большинство из них не поддерживают отложенную загрузку инструментов, которая обычно поддерживается API OpenAI и Anthropic. И Codex, и Claude Code отключают отложенную загрузку инструментов при подключении к стороннему провайдеру открытых моделей (например, Baseten). Вам нужно не забыть включить её обратно и убедиться, что провайдеры открытых моделей поддерживают эту парадигму, поскольку она требует специфической реализации шлюза на стороне сервера и вывода (inference).
В результате шлюзы, поддерживающие эти модели, отстали. Без отложенной загрузки инструментов каждая схема инструмента из ваших зарегистрированных MCP, включая многие неиспользуемые, неэффективно передается с каждым запросом, что легко обходится в сотни тысяч токенов.
Мы недавно добавили отложенную загрузку инструментов для открытых моделей (DeepSeek, Kimi, GLM) в Baseten Model APIs для поддержки форматов Chat Completions и Messages API. В Claude Code при включенных 3 MCP (Slack, Notion, Baseten) бенчмарки по написанию кода оказались в среднем на 62,5% дешевле и на 26,2% быстрее. Для агентских бенчмарков мы использовали предустановленные инструменты и MCP из бенчмарка и обнаружили, что выполнение задач в среднем обходится на 51,1% дешевле и происходит на 14,9% быстрее.
Как работает отложенная загрузка инструментов
Если сделать шаг назад, то ближайшая аналогия отложенной загрузки инструментов пришла из веб-разработки. Современная фронтенд-разработка опирается на «ленивую» загрузку (lazy loading), которая откладывает получение ресурсов до момента, когда они действительно понадобятся; агенты не должны быть исключением. Отложенная загрузка инструментов исключает все инструменты из системного промпта и предоставляет моделям инструмент поиска, чтобы они могли найти нужный инструмент именно тогда, когда он им понадобится.
Активная (eager) загрузка инструментов
Без отложенной загрузки инструментов для каждого зарегистрированного вами MCP/плагина (Slack, Notion, Baseten) полный список инструментов, предоставляемых этим MCP, и их схемы внедряются в системный промпт в самом начале. Например, при регистрации 3 серверов MCP схемы вызовов инструментов добавляли около 141 тыс. токенов к нашему системному промпту при каждом запросе. Отложенная загрузка сократила это число до ~1,3 тыс. токенов. Итак, как отложенная загрузка инструментов работает «под капотом» в обвязке и откуда берется экономия?
При активной загрузке инструментов все схемы инструментов передаются в API при каждом запросе вместе с системным промптом. Это приводит к очень раздутому кэшу. Хотя этот префикс кэшируется, каждый выходной токен обращается ко всем существующим кэшированным записям KV, что приводит к значительно большим вычислительным затратам и, следовательно, к увеличению времени выполнения.
Отложенная загрузка инструментов
Для сравнения, отложенная загрузка работает путем первоначальной передачи имен инструментов плюс инструмента tool_search (~1,3 тыс. токенов) (см. диаграмму поиска инструментов клиентом). Когда модели требуется один или несколько инструментов, она вызывает tool_search, и клиент возвращает список блоков tool_reference с именами соответствующих инструментов. Затем сервер отображает полную схему внутри транскрипта, вместо изменения системного промпта, поэтому KV-кэш, построенный поверх префикса, остается валидным. Наконец, ассистент вызывает нужный инструмент.
Это сохраняет KV-кэш, поскольку будущие запросы используют тот же префикс через вызов tool_search, при этом только отображенная схема и последующие шаги добавляются как новые токены. В обоих режимах во время декодирования каждый новый токен обращается к каждому токену в кэшированном контексте, поэтому стоимость внимания (attention cost) на токен масштабируется линейно с длиной контекста.
В активном режиме контекст включает полный список схем инструментов, независимо от того, используются они или нет, что означает чтение ~141 тыс. записей KV для каждого сгенерированного токена. Помните, что стоимость внимания примерно равна n * длина вывода на каждый запрос, необходимый для выполнения задачи, где n — количество токенов в KV-кэше. В нашем примере n примерно в 100 раз выше при активной загрузке. Следовательно, меньший префикс с высокой частотой попаданий благодаря отложенной загрузке делает каждый шаг декодирования дешевле, что приводит к более быстрому времени обслуживания запроса и лучшему опыту разработки.
Бенчмаркинг отложенной загрузки инструментов на стороне сервера
Мы отобрали 55 задач из 8 бенчмарков. Для каждой задачи мы использовали GLM 5.3 с отложенной загрузкой инструментов и без неё, чтобы измерить стоимость и время.
Мы хотели протестировать два типа сценариев использования обвязки для написания кода. Какую пользу дает отложенная загрузка инструментов для почти чисто задач по написанию кода, например, когда вы даете план и просите сделать PR? Они требуют минимального количества вызовов инструментов, однако стоимость всех зарегистрированных инструментов MCP проникает в каждый запрос.
В чем польза для агентских задач, где модель должна искать множество инструментов и проходить через циклы обнаружения инструментов? Мы выбрали эти две группы бенчмарков и хотели понять компромиссы отложенной загрузки инструментов. Мы обнаружили, что отложенная загрузка инструментов работает лучше, чем активная, в обоих случаях и редко имеет недостатки.
Для бенчмарков по написанию кода мы выбрали комбинацию:
- Terminal-Bench
Terminal-Bench
- SWE-bench Verified
SWE-bench Verified
- SWE-bench Pro v2
SWE-bench Pro v2
- DeepSWE v1.1
DeepSWE v1.1
Для агентских бенчмарков мы использовали:
- MCP-Atlas
MCP-Atlas
- AutomationBench
AutomationBench
- ComplexMCP
ComplexMCP
- Toolathlon-GYM
Toolathlon-GYM
Мы запускали эти задачи без графического интерфейса в Claude Code; для бенчмарков по написанию кода мы зарегистрировали 3 MCP (Slack, Notion, Baseten), а для агентских бенчмарков мы не регистрировали никаких MCP, кроме тех, что были включены в бенчмарки изначально.
Стоимость (% изменения)
Бенчмарки по написанию кода сэкономили в среднем 62,5% затрат, в то время как агентские бенчмарки сэкономили в среднем 51,1% по сравнению с активным режимом. Мы обнаружили, что экономия затрат выше, когда:
- Зарегистрировано много или объемных MCP
Зарегистрировано много или объемных MCP
- Много запросов для выполнения задачи (каждый экономит значительную часть входных токенов), как в агентских бенчмарках
Много запросов для выполнения задачи (каждый экономит значительную часть входных токенов), как в агентских бенчмарках
Время (% изменения)
Общее время выполнения задачи сокращается, поскольку каждый запрос в среднем содержит меньше токенов. Стоимость выходного токена линейно зависит от длины последовательности с большой константой n, где n — размер кэша KV. Даже в агентских бенчмарках, где модели требовалось выполнять много поисковых запросов для загрузки необходимого инструмента, время значительно улучшилось. Мы также измерили среднее количество вызовов инструментов на задачу; только в бенчмарке Toolathlon-GYM (68 вызовов инструментов) мы увидели, что упреждающая загрузка инструментов (или отключение отложенной загрузки инструментов) непосредственно в системном промте более эффективна. Задачи DeepSWE и MCP-Atlas выполнялись немного медленнее, но мы считаем это незначительным, поскольку экономия средств перевесила небольшое увеличение времени.
Заключение:
Отложенная загрузка инструментов — это мощный шаблон для управления разрастанием MCP и инструментов в уже используемых вами агентских средах. Она также доступна через API, если вы создаете внутреннюю среду с учетом контекста для вашей организации. Добавив поддержку этой функции для открытых моделей на Baseten Model APIs, мы показали, что отложенная загрузка инструментов может обеспечить значительную экономию токенов и времени выполнения задач на агентских и кодинговых бенчмарках.












