Что внутри
Компании, использующие AI в 2026 году, сталкиваются с парадоксом: стоимость AI-инференса за токен снизилась на 98%, однако счета за корпоративный AI утроились.
Затраты на токен находятся на историческом минимуме, но потребление токенов продолжает расти по мере внедрения бизнесом рабочих процессов автоматизации и автономных агентов. Без правильной архитектуры и управления ежемесячные расходы на AI при крупномасштабных развертываниях могут достигать $500 млн.
В этой статье Vention проведет вас через архитектурные и операционные решения, которые определяют, станет ли ваша AI-инициатива экономически жизнеспособной или превратится в финансовую черную дыру. вы узнаете, где расходуются токены впустую, как сократить их потребление в вашем AI-стеке и когда запуск AI-моделей локально имеет финансовый смысл.
Измеряйте использование LLM-токенов перед их оптимизацией
Прежде чем исправлять AI-архитектуру, необходимо точно узнать, где происходят утечки. Стандартные ежемесячные облачные дашборды не предоставят такой видимости. Они показывают только совокупное использование, оставляя вас в неведении о том, какая именно функция, репозиторий или рабочий процесс стимулируют расходы на AI.
Начните с внедрения детальной наблюдаемости. Отслеживайте затраты на токены на уровне команд, функций, агентов и даже версий промптов. На практике это означает создание промежуточного ПО (middleware) для тегирования каждого вызова API метаданными до того, как он достигнет провайдера модели.
Современные LLM-архитектуры затрудняют определение того, вызван ли всплеск использования токенов необходимыми рассуждениями, раздутым извлечением документов или автономным агентом, застрявшим в цикле повторных попыток. Четкий дашборд, показывающий, какой именно пайплайн расходует бюджет, позволяет настроить автоматические выключатели (circuit breakers), которые ограничивают выполнение или предупреждают инженерную команду в момент сбоя рабочего процесса.
Только после того, как вы узнаете, где токены расходуются впустую, вы сможете приступить к решению проблемы.
Где расходуются AI-токены
Современные AI-модели и рабочие процессы автоматизации затрудняют проведение различия между «этот шаг потребляет много токенов, но он необходим» и «это не должно стоить так дорого». Каждый шаг рассуждений, извлечение документов, вызов API и взаимодействие агентов увеличивают общее потребление токенов. Понимание того, какие затраты оправданы, а какие можно исключить, является первым шагом к сокращению расходов на AI.
Как AI-архитектура влияет на потребление токенов
Затраты на AI-токены начинают накапливаться задолго до того, как пользователи отправят свой первый промпт. Дата-архитектура определяет, сколько входных токенов обрабатывается за запрос, что делает ее одним из главных факторов долгосрочных расходов на AI.
Один из главных источников потребления токенов — индексация данных. Графовые RAG-архитектуры и автоматическая векторная индексация требуют от моделей обработки всего набора данных перед запуском для генерации метаданных извлечения. Только этот процесс может потреблять миллионы токенов.
На одном из проектов специалисты Vention зафиксировали снижение потребления кеш-токенов на 87% после внедрения графо-индексированного извлечения, а также сокращение входного контекста на 87,19% за счет ограниченного извлечения данных.
Плохое разбиение данных на чанки (chunking) — еще один частый источник ненужного потребления токенов. Если ваши данные не очищены, не сегментированы и не ранжированы должным образом на этапе архитектуры, системы извлечения часто возвращают слишком крупные или нерелевантные фрагменты вместо информации, необходимой для ответа на запрос пользователя. В некоторых случаях это может увеличить использование токенов до 50 раз.
Внедрив в проект 151 контекстный пакет (context pack), компания Vention сократила совокупный размер контекста на 43,46% и увеличила бюджет контекста в 1,77 раза.
AI-интеграции и middleware
Современные AI-системы редко полагаются на автономную LLM. Большинство компаний подключают модели к внешним инструментам, внутренним системам и рабочим процессам автоматизации. Каждая интеграция привносит дополнительный контекст, дублируемые входные данные или промежуточную обработку, что в совокупности увеличивает потребление токенов.
Внешние инструменты и API — яркий тому пример. Каждый раз, когда AI-агент может вызывать внешние инструменты, ему необходим доступ к JSON-схеме, описывающей эти инструменты. Эта схема внедряется в системный промпт при каждом запросе, добавляя от 2000 до 4000 статических входных токенов для сложных интеграций с 20 и более инструментами и API, независимо от того, использует ли их агент на самом деле.
Состояние агентных циклов (stateful agent loops) — еще один крупный источник потребления токенов. Многоэтапные задачи требуют от модели перечитывания истории выполнения на каждом шаге. На втором шаге модель перечитывает первый. На третьем — снова первый и второй. По мере роста разговоров и истории задач потребление токенов растет не линейно, а квадратично.
Показатели реальных проектов: внедрение выбора шагов по требованию (just-in-time) сократило потребление входных токенов на 66,84%; компиляция StepCard уменьшила объем контекста почти на 98% при сохранении всех 3 критических якорей из 3, а валидация крупных функций снизила использование токенов до 78%.
Защитные барьеры (guardrails) — еще один скрытый источник использования токенов. Они необходимы для предотвращения инъекций промптов, улучшения качества ответов и защиты конфиденциальных данных. Многие реализации опираются на дополнительные вызовы моделей для проверки промптов и ответов, что может удвоить или даже утроить потребление токенов на запрос.
LLM-шлюзы и маршрутизация моделей
Отправка каждого запроса вашей самой мощной модели — все равно что использовать гидравлический молот для раскалывания ореха. Такие задачи, как форматирование данных, анализ логов или базовый анализ настроений, редко требуют рассуждений фронтирного уровня.
LLM-шлюз с семантической маршрутизацией оценивает каждый запрос и автоматически перенаправляет простые и повторяющиеся задачи на меньшие, менее дорогие модели, оставляя передовые модели для сложных рассуждений и архитектурной работы. Учитывая разницу в цене между уровнями моделей в 20–60 раз, одна лишь динамическая маршрутизация может значительно снизить затраты на AI без ущерба для качества результатов.
Помимо маршрутизации запросов, LLM-шлюз становится плоскостью управления для вашей AI-инфраструктуры. Он централизует кеширование промптов, защитные барьеры, атрибуцию затрат и механизмы отказоустойчивости вместо дублирования этой логики в приложениях. Централизованное управление упрощает мониторинг использования токенов и помогает избежать привязки к конкретному поставщику (vendor lock-in).
Для одного из проектов Vention внедрила быстродействующий путь с поэтапной маршрутизацией, что позволило сократить бюджет рабочего процесса примерно с 24 000 до 4000 токенов.
Дисциплина промптов
Разговорный «мусор» добавляет ненужные токены. Если вашему приложению нужен структурированный JSON, ответы, начинающиеся с фраз вроде «Конечно!» или содержащие длинные объяснения перед выводом результатов, не имеют особой ценности. Каждый лишний токен увеличивает стоимость.
Кеширование промптов — еще одна область, заслуживающая внимания. Стабильные промпты позволяют провайдерам повторно использовать кешированные представления вместо повторной обработки одних и тех же инструкций для каждого запроса. Чтобы максимизировать попадания в кеш, размещайте статические элементы (такие как системные инструкции, схемы инструментов и основные сценарии поведения) в начале промпта, а контекст, специфичный для пользователя, оставляйте в конце. Поскольку многие провайдеры предлагают скидки на кешированные токены, структурированные промпты сокращают как использование токенов, так и расходы на инференс.
В рамках одного клиентского проекта компания Vention сравнила сериализацию TOON с минифицированным JSON, причем TOON обеспечила экономию токенов на уровне 2,87%. Хотя общий выигрыш оказался скромным, экономия в отдельных областях была выше: 19,04% для планов выполнения и 12,23% для контекста функций.
Почему использование токенов LLM увеличивается даже при хорошей ИИ-архитектуре
Даже при хорошо спроектированной ИИ-архитектуре и чистых данных расход токенов все равно может увеличиться после переключения моделей или их версий. Если вы исключили архитектурные проблемы, причиной повышенного потребления токенов может быть сама модель.
Токенизаторы LLM
Токенизаторы — это один из немногих компонентов модели, способных повысить эффективность использования токенов. Они разбивают текст на токены, и более новые модели обычно имеют более крупные словари, что позволяет им сжимать текст эффективнее. Например, если старая модель представляла вашу кодовую базу в виде 1000 токенов, более новый токенизатор может сократить это число до 750 токенов.
Подвох заключается в том, что токенизаторы встроены в саму модель. Вы не можете просто заменить токенизатор в старой дообученной модели ради лучшего сжатия.
Дрейф многословности
Поставщики моделей постоянно корректируют разговорное поведение с помощью обучения с подкреплением на основе отзывов людей (RLHF) и прямой оптимизации предпочтений (DPO). После перехода на более новую модель вы можете заметить, что она выдает гораздо более длинные ответы, даже когда вашему приложению требуется лишь лаконичный результат.
Задача, которая раньше требовала 150 выходных токенов, внезапно может сгенерировать объяснение на 1000 токенов.
Обновленные системные промпты обычно могут исправить такое поведение, закрепив предпочитаемый вами стиль ответов.
Токены рассуждения (режим «мышления»)
Многие новые модели, включая o-серию от OpenAI, модели Claude Thinking и DeepSeek R1, выполняют внутренние рассуждения перед генерацией ответа.
Внутренние рассуждения повышают точность, но они также расходуют токены. Запрос, который приводит к ответу на 300 токенов, может потребовать 5000 или даже 10 000 токенов рассуждений «под капотом». Хотя такой компромисс оправдан для сложных или высокорисковых задач, многие производственные рабочие нагрузки не требуют такого уровня рассуждений.
Инвалидация кэша промптов
Проблемы с кэшированием промптов не всегда вызваны их структурой. Миграция на другую модель может привести к инвалидации существующих кэшей промптов, поскольку кэшированные представления «ключ-значение» не переносятся между моделями автоматически.
Миграция моделей также может потребовать изменений в системных промптах, чтобы они соответствовали структуре промптов, ожидаемой новой моделью. До тех пор пока эти промпты не будут обновлены и снова закэшированы, каждый запрос заставляет модель перерабатывать их с нуля, временно увеличивая потребление токенов.
Как выбрать правильную модель потребления
Оптимизация ИИ-архитектуры — это лишь часть уравнения. Выбор правильной модели потребления имеет не меньшее значение. Большинство организаций полагаются на три основные модели потребления ИИ, и использование неподходящей модели для конкретной рабочей нагрузки может быстро раздуть расходы.
Подписки на основе рабочих мест
Интерактивная работа с участием человека лучше всего подходит для подписок на основе рабочих мест, таких как Claude Team, ChatGPT Enterprise и GitHub Copilot.
Фиксированная ежемесячная плата за пользователя делает эти инструменты в пять-десять раз более рентабельными по сравнению с API с оплатой по факту использования при повседневной работе разработчиков с сопоставимыми объемами генерации кода.
Предсказуемые ежемесячные расходы также облегчают бюджетирование и защищают вашу организацию от скачков потребления токенов, возникающих при интенсивных диалоговых рабочих процессах.
API ИИ и пакетная обработка
Автоматизированные рабочие процессы, автономные агенты и CI/CD-пайплайны должны опираться на доступ через API. Ценообразование API основано на использовании, что означает оплату только потребленных токенов. Простаивающие агенты не создают расходов.
Далеко не каждый запрос требует немедленного ответа. Фоновые рабочие нагрузки, такие как ночной анализ кода, массовое извлечение данных и обновление документации, лучше подходят для пакетной обработки. Многие провайдеры предлагают скидки до 50% на асинхронные задания, обрабатываемые в часы наименьшей нагрузки, что снижает стоимость масштабных ИИ-задач.
Локальный ИИ (On-premises)
Развертывание ИИ на собственной инфраструктуре имеет смысл только после ответа на один вопрос: работает ли ваша организация с ИИ непрерывно и при высокой загрузке?
В отличие от развертываний на базе API, локальная инфраструктура влечет за собой расходы независимо от того, обрабатывает ли модель запросы или простаивает. Оборудование, обслуживание и электроэнергия становятся фиксированными операционными расходами.
Локальная ИИ-инфраструктура обычно становится рентабельной только тогда, когда загрузка стабильно остается высокой. Организации, запускающие рабочие нагрузки ИИ примерно при 80% загрузке или выше, могут окупить инвестиции в инфраструктуру за двух-трехлетний период при одновременном снижении долгосрочных затрат на API.
Запуск ИИ на собственных мощностях также сопряжен со скрытыми затратами:
- Для эксплуатации и поддержки локальной инфраструктуры вывода требуются квалифицированные инженеры MLOps.
- Оборудование для ИИ быстро устаревает. Системы, купленные сегодня, возможно, придется заменить в течение двух лет, чтобы поспевать за требованиями моделей.
- Крупные модели с открытыми весами обладают высокой настраиваемостью и все более успешно конкурируют с проприетарными альтернативами, но обслуживание моделей с сотнями миллиардов параметров требует значительного объема памяти, распределенной инфраструктуры, квантования и инженерных усилий.
Успех ИИ зависит от эффективности использования токенов
Снижение затрат на ИИ достигается не за счет использования меньшего количества моделей или ограничения их внедрения. Оно достигается за счет более эффективного использования ИИ. Улучшенная архитектура, более умная маршрутизация моделей, оптимизированные промпты и правильная стратегия развертывания могут значительно сократить потребление токенов без ущерба для производительности.
Поиск главного источника перерасхода токенов всегда должен быть на первом месте. Оптимизация промптов мало поможет, если реальная проблема заключается в слишком больших фрагментах RAG, неэффективных циклах агентов или избыточных рассуждениях.
Не знаете, с чего начать? ИИ-воркшоп от Vention поможет определить, куда уходят ваши токены, выявить возможности для снижения затрат и составить дорожную карту для более эффективной работы с ИИ.
Результаты говорят сами за себя: в ходе одного из проектов работа Vention по оптимизации разработки с помощью ИИ позволила сократить объем контекста, отправляемого модели, до 95,47%, снизив количество необходимых входных токенов при сохранении 100% точности воспроизведения критически важных якорей в сценариях, подтвержденных провайдером.
Часто задаваемые вопросы
Как установить бюджеты на токены для каждой команды или проекта?
Ваши бюджеты на токены должны основываться на потреблении токенов и их целесообразности.
Вы можете отслеживать использование токенов вашими командами и проектами, добавляя метаданные к каждому вызову API до того, как он поступит к провайдеру модели. После этого вы сможете настроить пользовательскую панель мониторинга, которая предоставляет всю информацию об использовании токенов с разбивкой по командам и проектам. Затем вы сможете определить целесообразность расходов на токены и установить индивидуальные лимиты, причем система будет уведомлять ваши команды о превышении пороговых значений.
Можем ли мы снизить затраты на токены без изменения моделей или провайдеров?
Вы абсолютно точно можете сократить расходы на токены без изменения моделей или их провайдеров. Если вы еще не проводили архитектурную оптимизацию или оптимизацию промптов для текущей настройки, вам следует рассмотреть это в первую очередь. Размещение статических элементов в начале промптов для улучшения кэширования промптов, удаление разговорных «слов-паразитов» из системных инструкций, исправление некачественного разбиения на фрагменты (RAG chunking) и маршрутизация не срочных задач через пакетную обработку помогут вам использовать меньше токенов и обеспечить выполнение задач по сниженным тарифам.
Сэкономит ли нам деньги перенос ИИ-моделей на собственную инфраструктуру (on-premises)?
Перенос ИИ-моделей на собственную инфраструктуру сэкономит вам деньги только в том случае, если вы соответствуют следующим критериям: использование вашего ИИ составляет примерно 80% или выше в постоянном режиме.
В других случаях, таких как более низкое или колеблющееся использование, расходы на локальные инфраструктуры, такие как аппаратное обеспечение, электричество и необходимость в выделенных инженерах MLOps, часто приводят к большим затратам по сравнению с облачными API с оплатой по факту использования или подписками на основе количества мест.
Как динамическая маршрутизация моделей снижает ненужные расходы на токены?
Шлюз LLM с семантической маршрутизацией улавливает контекст и тип задачи, которую вы ставите перед ИИ, и решает, должна ли она выполняться передовой моделью или более легкой и дешевой.
Проще говоря, для повторяющихся задач, таких как форматирование данных, более дешевые модели дают те же результаты, что и передовые, за малую долю стоимости. В конечном итоге все задачи выполняются, но ваш бюджет расходуется значительно меньше.
Не знаете, с чего начать?
AI-воркшоп от Vention помогает определить, куда уходят ваши токены, выявить возможности для снижения затрат и составить дорожную карту для более эффективной работы ИИ.
