Что такое расходы на токены

Расходы на токены — это количество токенов, которое команда потребляет при работе с ИИ, а также стоимость этих токенов. Токен — это единица текста (например, слово, часть слова или знак препинания), которую ИИ-модель считывает или генерирует. В английском языке 1 токен равен примерно 4 символам. Токены не стандартизированы среди разных моделей и провайдеров, поэтому один и тот же текст может давать разное количество токенов в разных инструментах.

Отчеты об использовании обычно разделяют токены на несколько типов:

Входные токены (input tokens) — это все, что модель считывает для выполнения запроса. Сюда входят сам запрос, любой прикрепленный текст и история диалога, которую модель использует повторно из более ранних сообщений в той же ветке.
Выходные токены (output tokens) — это ответ, который генерирует модель. Часто они стоят дороже входных токенов. Согласно ценовой политике API Perplexity, некоторые модели взимают за выходные токены в шесть раз больше.
Токены рассуждения (reasoning tokens) — это текст, который модель генерирует внутренне для проработки задачи перед тем, как дать ответ. Они не отображаются в самом ответе, поэтому более длинный видимый ответ не обязательно означает, что модель в целом потратила больше токенов.

Команды, использующие ИИ-инструменты по подписке, редко сталкиваются с платой за каждый отдельный токен. Тем не менее токены по-прежнему определяют возможности подписки, поскольку более сложные задачи быстрее расходуют кредиты или лимиты использования. Команды, которые создают собственные инструменты на базе ИИ-моделей, обычно платят именно за токены в рамках ценообразования на основе использования.

Как отслеживать расходы на токены

Отслеживание расходов на токены при использовании плана по подписке

Инструменты по подписке обычно не показывают количество токенов. Вместо этого многие тарифы используют кредиты — предоплаченные единицы, которые списываются по мере выполнения работы. Кредиты не равны токенам, так как один кредит может покрывать текст, изображения или другие задачи. Но задачи, которые требуют больше токенов, обычно расходуют и больше кредитов, поэтому они служат лучшим ориентиром для оценки расходов на токены при подписке. Пользователи могут самостоятельно отслеживать использование своих кредитов, а некоторые тарифы также включают панель администратора, отображающую расход кредитов всей командой.

Например, в Perplexity обычные поисковые запросы не тратят кредиты. Они расходуются только при использовании Perplexity Computer — ассистента для многошаговых задач. Пользователи Computer видят, сколько кредитов они потратили и на что именно. Для каждой задачи в Computer общая сумма потраченных кредитов также отображается в меню «Использование» (Usage) в окне чата.

В тарифных планах Enterprise администраторы могут видеть количество пользователей Perplexity и число запущенных ими запросов каждую неделю на панели Insights (доступна организациям с 50 и более лицензиями или хотя бы одним участником Enterprise Max).

Отслеживание расходов на токены в отчетах об использовании API

Отчеты об использовании от провайдера API напрямую показывают количество токенов, обычно разделенное по типам. Например, консоль API Platform от Perplexity позволяет отслеживать такие метрики, как расход входных, выходных токенов и токенов рассуждения на странице выставления счетов (Billing).

Почему расходы на токены растут

Агенты выполняют множество шагов в рамках одной задачи, и каждый шаг представляет собой отдельный запрос к модели. Всего одна задача может сотен тысяч или даже миллионов токенов.

Модели с поддержкой рассуждений также становятся все более распространенными. Такая модель прописывает ход своих мыслей перед ответом, и каждое слово этого текста учитывается как токен. В результате один и тот же запрос на модели с рассуждениями обычно требует больше токенов, чем на стандартной модели, даже если визуально ответ выглядит такой же длины.

Наконец, по мере того как все больше людей и рабочих процессов используют ИИ в целом, потребление токенов накапливается. Часть этого роста также связана с токенмаксингом (tokenmaxxing) — практикой, когда инженеры запускают агентов главным образом для того, чтобы увеличить личные показатели токенов и подняться выше во внутренних рейтингах.

Как сократить расходы на токены

Большая часть высоких расходов на токены приходится на несколько типов задач, которые расходуют больше токенов, чем кажется на первый взгляд.

Длинные беседы и задачи для агентов

Каждый раз, когда модель отвечает, она обычно заново считывает всю беседу с самого начала. Каждый новый запрос включает в себя всю предыдущую историю диалога плюс текущее сообщение пользователя. В результате короткий вопрос в конце длинной ветки чата тратит больше токенов, чем тот же вопрос в новом чате. Задачи для агентов работают аналогично, поскольку каждый шаг добавляет свои результаты в историю, которую перечитывает следующий шаг.

Что с этим делать

Начинайте новый чат, когда тема меняется. Открывайте его с помощью краткого резюме (в две-три строки) по тем моментам из старого чата, которые все еще нужны модели.
Разбивайте длинные задачи для агентов на более мелкие. Выполняйте каждую часть как отдельную задачу и передавайте дальше только те результаты, которые необходимы для следующего этапа.
Проверьте, используют ли агентские инструменты вашей команды сжатие контекста (context compaction). Сжатие автоматически суммирует старые части задачи, благодаря чему модель перечитывает меньше текста. Если этот инструмент доступен в настройках, включите его.

Многократная обработка одних и тех же документов

Когда пользователь прикрепляет один и тот же длинный файл (например, корпоративный справочник по политикам или каталог продукции) к множеству разных запросов, модель каждый раз считывает документ целиком. Какое-то чтение учитывается как входные токены.

Что с этим делать

Обучите пользователей копировать в запрос релевантный раздел руководства или каталога вместо прикрепления файла целиком.
Создайте сокращенные версии документов, которые команда использует чаще всего. Одностраничная выжимка из длинного регламента может заменить полный документ в рутинных запросах.

Повторные попытки и циклы

Если ответ не соответствует ожиданиям пользователя и задачу запускают заново, каждая попытка расходует токены. То же самое происходит, когда агент застревает и циклически выполняет один и тот же шаг.

Что с этим делать

Четко формулируйте задачу, желаемый результат и источники в первом же запросе. Например: «Сделай краткую сводку основных причин ухода клиентов в 3-м квартале, используя только приложенные результаты опроса, в виде пяти пунктов».
Проверяйте первые несколько шагов выполнения задачи агентом. Если агент повторяет один и тот же шаг или поиск, остановите его и перезапустите задачу с более конкретным запросом.

Использование крупных моделей для простых задач

Более мощные модели обычно стоят дороже в расчете на один токен, поэтому рутинная работа (например, создание резюме или переформатирование текста) может исчерпать бюджет команды быстрее, чем необходимо.

Что с этим делать

Используйте маршрутизацию моделей (model routing), которая сопоставляет каждую задачу с моделью, способной ее решить. Быстрое переписывание текста или создание резюме можно направить на более мелкую и дешевую модель, а самую мощную модель оставить для многошагового рассуждения или глубокого анализа. API от Perplexity применяет этот подход через пресеты, которые назначают небольшую модель для быстрого поиска и более крупную — для исчерпывающего анализа.

Всплески активности после внедрения новых рабочих процессов

Новый автоматизированный рабочий процесс или инструмент, развернутый для всей команды, может резко увеличить использование ресурсов за одну ночь. Сам по себе всплеск не является проблемой, но стоит знать, какое именно действие его вызвало.

Что с этим делать

Сначала тестируйте новые рабочие процессы на небольшой группе. Проверяйте их показатели использования в течение недели или двух, прежде чем внедрять процесс на всю команду.
Установите месячный бюджет для каждой команды. Базируйте его на среднем потреблении за типичный месяц, чтобы любые отклонения сразу бросались в глаза.
Отключите автопополнение. Когда автопополнение отключено, работа останавливается при исчерпании кредитов, вместо того чтобы автоматически докупать новые.

Как оптимизировать расход токенов в Perplexity

Для повседневного использования

Computer расходует кредиты, но запускается только тогда, когда вы этого хотите: при выборе значка Computer, работе в проекте со значением Computer по умолчанию или в режиме работы Comet Work.

Чтобы вернуться к обычному поиску, выберите значок Perplexity для переключения в режим Ask. Для просмотра расхода кредитов пользователи могут открыть трекер в интерфейсе Perplexity.

Команды, работающие в Projects, общих рабочих пространствах Perplexity, могут устанавливать режим по умолчанию для каждого проекта: «Поиск» или «Компьютер». Проект, используемый в основном для быстрого поиска информации, может по умолчанию использовать режим «Поиск», чтобы никто случайно не запустил задачу для «Компьютера».

Для администраторов тарифа Enterprise

Будьте в курсе того, что включает в себя каждое место. Пользователи Enterprise Pro получают ежемесячный лимит в 500 кредитов, а пользователи Enterprise Max — 15 000 кредитов. Они сгорают в конце каждого месячного цикла и не переносятся на следующий месяц.
Сначала установите лимит использования по умолчанию. Лимит использования ограничивает количество дополнительных кредитов, которые участник может взять из общего пула после исчерпания собственного баланса.
Создавайте именованные лимиты для разных типов пользователей. Администраторы могут настраивать такие лимиты, как «Стандартный», «Продвинутый» и «Подрядчик», и назначать их группам пользователей или отдельным участникам. Группы могут создаваться в Perplexity или синхронизироваться из поставщика идентификационных данных компании. Если пользователь принадлежит к нескольким группам, применяется наивысший лимит.
Используйте персональные исключения для особых случаев. Если кому-то требуется лимит, отличающийся от группового, персональное исключение имеет приоритет над любым групповым или общим лимитом. Это удобно для короткого проекта с интенсивным исследованием без повышения лимита для всей команды.
Установите предел для автопополнения. Автопополнение автоматически пополняет общий пул. Оно поставляется с настраиваемым ежемесячным лимитом пополнения, поэтому расходы не могут расти выше установленного максимума.
Определите, как участники запрашивают дополнительное финансирование. Настройка «Разрешить участникам запрашивать больше кредитов» позволяет пользователям, исчерпавшим свой лимит, запросить дополнительные кредиты у администратора, вместо того чтобы получать отказ.
Проверяйте использование кредитов каждый месяц. На странице кредитов организации отображаются выделенные, использованные и оставшиеся кредиты для каждого участника, а также групповые лимиты и баланс пула. Для организаций с 50 и более местами или хотя бы одним участником Enterprise Max панель аналитики добавляет данные об активных пользователях в месяц и еженедельных запросах с течением времени. Для получения более подробной информации журналы аудита фиксируют выполнение задач, использование коннекторов, потребление кредитов и их выдачу.

Для команд, создающих продукты на базе API

Выделите для каждого инструмента или команды собственный ключ API. Perplexity может показывать счета для каждого ключа по отдельности, а раздельные ключи позволяют четко понимать, какой именно инструмент генерирует нагрузку.
Проверяйте на странице выставления счетов, какой именно тип токенов растет. Там отображаются входные, выходные токены и токены рассуждения с течением времени. Увеличение количества входных токенов обычно означает, что инструмент отправляет больше текста, чем необходимо. Увеличение количества токенов рассуждения означает, что задачи выполняются на моделях, которые подробно обдумывают проблемы.
Используйте API поиска, когда инструменту нужны только результаты поиска. Он возвращает результаты из интернета без генерации ответа моделью и тарифицируется за каждый запрос без дополнительных комиссий за токены.
Запускайте инструменты агента на основе пресета. Пресеты Perplexity соотзывают масштаб задачи с размером модели и защищают самые дорогие модели от простых запросов.

Работа с приоритетом локальных вычислений

Некоторая работа вообще не требует платной облачной модели. Portable Computer — это версия агента Perplexity, которая работает на собственном компьютере пользователя, используя модель ИИ, хранящуюся на этой машине. Поскольку модель работает локально, рутинная работа не расходует платные токены. Она обращается в интернет, к подключенным приложениям или более мощной облачной модели только тогда, когда это требуется для задачи, и предварительно запрашивает разрешение у пользователя.

Узнайте, как Perplexity Computer справляется с многоэтапными задачами в интернете, с файлами и подключенными инструментами.

Часто задаваемые вопросы

В чем разница между расходом токенов и затратами на ИИ?

Расход токенов измеряет объем работы ИИ, выполняемой командой, в токенах. Затраты на ИИ покрывают все расходы команды на использование ИИ, включая подписки, дополнительные кредиты и настройку. Расход токенов составляет основу той части счета, которая зависит от использования.

Платят ли пользователи по подписке за каждый токен?

Как правило, нет напрямую. Инструменты по подписке отслеживают использование в сообщениях, запросах или кредитах, а задачи, использующие больше токенов, быстрее исчерпывают их. В Perplexity обычный поиск вообще не расходует кредиты — это делают только задачи для компьютера.

Почему агенты ИИ используют так много токенов?

Агент выполняет задачу в несколько этапов, и каждый шаг представляет собой отдельный запрос, который заново считывает проделанную к этому моменту работу. Следовательно, длительная задача использует тем больше токенов, чем больше шагов она совершает.

Почему использование токенов резко возрастает?

Большинство всплесков обусловлено изменениями в рабочем процессе команды, такими как новый автоматизированный рабочий процесс, внедрение инструмента для большего числа людей или выполнение длительной задачи агента. Сопоставление даты всплеска с недавними запусками обычно указывает на причину. Предварительное тестирование новых рабочих процессов на небольшой группе помогает предотвратить скачки.