Небольшой пилотный проект агентного ИИ может скрывать реальную экономику промышленной эксплуатации. Питер Калмейн прослеживает стоимость логических рассуждений ИИ от одной транзакции до миллионов и призывает архитекторов проанализировать целесообразность каждого взаимодействия с моделью до масштабирования.
Предположим, агент выполняет одну бизнес-транзакцию, расходуя 5000 токенов. Само по себе это число не выглядит особенно тревожным. В зависимости от модели и того, как распределяются эти токены, отдельная транзакция может показаться незначительной.
Теперь дадим системе 10 миллионов транзакций. 5000 транзакций превращаются в 50 миллиардов токенов. При 100 миллионах транзакций мы получаем уже 500 миллиардов.
В самой отдельной задаче ничего не изменилось. Мы просто позволили умножению сделать свое дело.
Такой расход токенов — одна из причин, почему я считаю, что экономика агентного ИИ должна становиться архитектурным вопросом гораздо раньше, чем это обычно происходит.
За что мы на самом деле платим?
Простую модель взаимодействия относительно легко понять. Информация поступает на вход, модель выдает ответ, токены расходуются.
С агентами все интереснее. Чтобы выполнить одну задачу, агент может извлечь контекстную информацию, попросить модель интерпретировать ее, провести рассуждения, вызвать инструмент, проверить результат и решить, что делать дальше. Он может повторить отдельные шаги этой последовательности несколько раз, а неожиданный результат может и вовсе направить его по совершенно другому пути.
Именно эти логические рассуждения делают агентов полезными. Они способны проработать проблему, а не просто следовать заранее заданной последовательности. Но это также означает, что стоимость одного вызова модели крайне мало говорит об экономике выполненной задачи целиком.
Я хотел бы знать:
- сколько вызовов потребовалось агенту;
- какой объем контекста он передавал в этих вызовах;
- какие инструменты использовал;
- и как часто повторял то или иное действие.
Я также хотел бы видеть, отличается ли поведение системы в простых случаях от сложных. Тогда у нас появится нечто содержательное для умножения.
Вы также можете обнаружить участки процесса, где самым умным решением ИИ будет прекращение использования ИИ.
Вы также можете обнаружить участки процесса, где самым умным решением ИИ будет прекращение использования ИИ.
Пилотные проекты отлично скрывают эффект умножения
При ограниченной группе агентов неэффективность может быть почти незаметной. Агент может получать гораздо больше контекстной информации, чем ему нужно. Возможно, он использует мощную модель для задач, с которыми справилась бы и более простая, либо какой-то конкретный инструмент заставляет его постоянно делать повторные попытки.
При корпоративных объемах транзакций такие детали начинают играть решающую роль.
Существует несколько способов улучшить экономику. Команды могут проанализировать выбор моделей, маршрутизацию, кэширование, размер контекста и то, как агенты используют инструменты. Мониторинг поведения во время выполнения может выявить источники дорогостоящих сценариев, вместо того чтобы просто показывать итоговый счет постфактум.
Однако прежде чем делать что-либо из этого, я бы рассмотрел более базовый вопрос:
Нужно ли системе снова «думать» над этим?
Представьте, что агент выполнил действительно сложную работу. Он интерпретировал необычный запрос, собрал информацию из нескольких источников и установил факты по делу. Следующий шаг регулируется бизнес-правилом, которое организация уже определила, протестировала и утвердила.
Мы могли бы передавать это правило модели и просить ее каждый раз вычислять ответ. При больших объемах транзакций система будет снова и снова платить за рассуждения, чтобы прийти к логике, которую организация уже сформировала. Если существующий детерминированный сервис может применить правило напрямую, агент может вызвать этот сервис и продолжить работу с полученным результатом.
Рассуждения на основе модели остаются доступными для той части проблемы, которая изначально требовала логических умозаключений.
Проследите путь затрат обратным ходом в архитектуру
Ежемесячный счет за ИИ — это операционный показатель, но он также может кое-что рассказать о дизайне системы:
- Если один класс транзакций раз за разом потребляет гораздо больше токенов, чем другой, то почему?
- Если агент зацикливается, что возвращает его назад?
- Если каждая транзакция вызывает самую мощную из доступных моделей, действительно ли каждой транзакции требуются столь продвинутые возможности?
Подобные вопросы позволяют вскрыть архитектурные решения, которые были практически незаметны во время эксперимента.
Они важны не только с точки зрения финансовых затрат. Логические рассуждения потребляют вычислительные ресурсы и энергию. Точное воздействие на окружающую среду зависит от инфраструктуры, оборудования, выбора модели и источников энергии, поэтому к громким заявлениям об углеродном следе следует относиться с осторожностью. Базовый инженерный вопрос проще: добавляют ли эти рассуждения полезную ценность результату?
Именно в этой точке экономика и архитектура начинают пересекаться. Если рассуждения представляют ценность, мы должны быть готовы за них платить. Если же система раз за разом просит ИИ заново открывать уже имеющийся у нас ответ, проблема может заключаться в том, как мы спроектировали систему.
Выполните умножение на ранних этапах
Пилотные проекты должны отвечать на вопрос, работает ли идея. Я бы не стал обременять каждый эксперимент полной операционной моделью будущей промышленной системы.
Однако перед масштабированием выполните умножение. Измерьте расход на выполнение одной задачи. Посмотрите на разницу между простыми и сложными случаями, изучите вызовы инструментов и повторные попытки агента и сопоставьте эти цифры с объемами транзакций, с которыми столкнется реальная система.
Затем посмотрите на наиболее затратные шаги и спросите себя, почему для них требуются рассуждения ИИ.
Вы можете прийти к выводу, что логический вывод стоит каждого потраченного токена. Или же обнаружить участки процесса, где самым умным решением ИИ будет прекращение использования ИИ.
Мы с нетерпением ждем нашего спонсорского участия в Adopt AI 2026, которое пройдет 3–4 декабря в Париже. Каждый четверг в преддверии мероприятия Питер Калмейн, архитектор гибких и цифровых корпоративных решений и участник исследовательского сообщества Future Makers Research Community (FMRC) в Atos, будет объяснять, почему хорошая ИИ-архитектура начинается со слова «нет».
