Использование функций управления затратами на генеративный ИИ в BigQuery

Функции генеративного ИИ в BigQuery (AI.GENERATE, AI.IF, AI.CLASSIFY, AI.SCORE и другие) позволяют использовать большие языковые модели (LLM) непосредственно в SQL-запросах. Таким образом, один запрос может классифицировать миллионы обращений в службу поддержки или оценить тональность каждого отзыва о продукте. Однако, поскольку оплата за эти функции взимается на основе токенов, их масштабирование на огромные наборы данных подчеркивает важность проактивного управления бюджетом.

Мы недавно объявили об общедоступности (GA) управления затратами на основе токенов для функций генеративного ИИ в BigQuery: это ежедневные квоты, которые позволяют администраторам самостоятельно устанавливать ограничения на потребление токенов ИИ, чтобы команды могли внедрять инновации, оставаясь в рамках бюджета. В этом блоге мы представляем обзор управления затратами для функций генеративного ИИ в BigQuery, рассматриваем несколько практических примеров и делимся ресурсами, которые помогут вам начать работу. Давайте приступим.

Квоты для управления затратами

Четыре ежедневные квоты, управляемые через систему квот Google Cloud Identity and Access Management (IAM), обеспечивают контроль на уровне проекта и на уровне отдельных пользователей. Ограничения для пользователей применяются к каждому пользователю внутри проекта, а не во всей организации.

Название квоты

Метрика

Область действия

Значение по умолчанию

Входные токены ИИ в день

Входные токены, используемые LLM

В день, на проект

200 миллиардов

Входные токены ИИ в день на пользователя

Входные токены, используемые LLM

В день, на проект, на пользователя

150 миллиардов

Выходные токены ИИ в день

Выходные токены и токены рассуждения, используемые LLM

В день, на проект

20 миллиардов

Выходные токены ИИ в день на пользователя

Выходные токены и токены рассуждения, используемые LLM

В день, на проект, на пользователя

15 миллиардов

Ключевые детали:

• Квоты являются глобальными. Использование суммируется по всем регионам, поэтому затраты не могут незаметно накапливаться в регионе, за которым вы не следили.

Квоты являются глобальными. Использование суммируется по всем регионам, поэтому затраты не могут незаметно накапливаться в регионе, за которым вы не следили.

• Выходные квоты включают токены «рассуждения» (thinking tokens). Токены рассуждения учитываются в вашей выходной квоте так же, как они учитываются в счете за платформу Gemini.

Выходные квоты включают токены «рассуждения» (thinking tokens). Токены рассуждения учитываются в вашей выходной квоте так же, как они учитываются в счете за платформу Gemini.

На какие функции распространяются квоты?

Квоты применяются к следующим функциям BigQuery, которые выполняют генерацию с использованием LLM:

• AI.GENERATE

AI.GENERATE

• AI.GENERATE_TABLE

AI.GENERATE_TABLE

• AI.GENERATE_TEXT (и его псевдоним ML.GENERATE_TEXT)

AI.GENERATE_TEXT (и его псевдоним ML.GENERATE_TEXT)

• AI.CLASSIFY

AI.CLASSIFY

• AI.IF

AI.IF

• AI.SCORE

AI.SCORE

• AI.AGG

AI.AGG

Что не покрывается: функции эмбеддингов, такие как AI.GENERATE_EMBEDDING (также доступна как ML.GENERATE_EMBEDDING) и AI.EMBED, не подпадают под действие этих квот, поскольку они работают на других, значительно более дешевых моделях.

Управление вашими квотами

Администраторы могут просматривать и корректировать квоты непосредственно в консоли Google Cloud по мере изменения рабочих нагрузок, без необходимости открывать тикет в службу поддержки.

• Перейдите в IAM & Admin → Quotas & System Limits.

Перейдите в IAM & Admin → Quotas & System Limits.

• Отфильтруйте по сервису и выберите BigQuery API.

Отфильтруйте по сервису и выберите BigQuery API.

• Отсортируйте по столбцу Name, чтобы вывести четыре квоты ИИ в начало списка.

Отсортируйте по столбцу Name, чтобы вывести четыре квоты ИИ в начало списка.

Поиск квот на токены генеративного ИИ в IAM & Admin → Quotas & System Limits.

4. Найдите квоту, например, «Входные токены ИИ в день».

5. Откройте меню из трех точек и выберите «Изменить квоту» (Edit quota).

После этого:

• Чтобы усилить контроль затрат, уменьшите квоту. Это вступит в силу немедленно без необходимости одобрения.

Чтобы усилить контроль затрат, уменьшите квоту. Это вступит в силу немедленно без необходимости одобрения.

• Для поддержки более высокого уровня использования запросите увеличение на той же странице. Многие запросы одобряются автоматически; для более значительных увеличений может потребоваться быстрая проверка.

Для поддержки более высокого уровня использования запросите увеличение на той же странице. Многие запросы одобряются автоматически; для более значительных увеличений может потребоваться быстрая проверка.

Редактирование квоты на токены генеративного ИИ в IAM & Admin → Quotas & System Limits.

Вам потребуются соответствующие разрешения. Вам нужно одно из следующих: Владелец (Owner), Редактор (Editor), Администратор квот (Quota Administrator, roles/servicemanagement.quotaAdmin) или Администратор использования сервисов (Service Usage Admin, roles/serviceusage.serviceUsageAdmin).

Предпочитаете автоматизацию? Вы также можете управлять этими квотами программно через Cloud Quotas API, CLI gcloud и Terraform, чтобы применять согласованные ограничения во всех проектах.

Мониторинг использования

Помимо установки ограничений, страница «Квоты и системные лимиты» отображает историю потребления токенов, чтобы вы могли быстро обнаруживать всплески и оптимизировать свои бюджеты. Используйте эти тренды, чтобы увидеть, как новые рабочие нагрузки генеративного ИИ и конвейеры данных влияют на общее использование токенов.

Ежедневное использование токенов на уровне проекта для квоты генеративного ИИ в IAM & Admin → Quotas & System Limits.

График долгосрочного использования с возможностью выбора диапазонов 7, 14, 30 дней и пользовательских периодов.

Пошаговое руководство см. в документации BigQuery по контролю затрат с помощью квот на токены.

Квоты на токены против лимитов расходов

Квоты на токены — не единственный инструмент контроля затрат в Google Cloud.

• Квоты на токены (эта функция) являются превентивными и специфичными для ИИ. BigQuery отслеживает использование токенов во время выполнения запроса и останавливает работу при приближении к лимиту, с отдельными ограничениями для каждого проекта и пользователя.

Квоты на токены (эта функция) являются превентивными и специфичными для ИИ. BigQuery отслеживает использование токенов во время выполнения запроса и останавливает работу при приближении к лимиту, с отдельными ограничениями для каждого проекта и пользователя.

• Лимиты расходов Cloud Billing работают с денежными суммами на уровне проекта и сервиса и могут автоматически блокировать использование при достижении порога. Это широкая финансовая защита, а не точный контроль использования, и, поскольку применение не происходит мгновенно, возможны некоторые превышения.

Лимиты расходов Cloud Billing работают с денежными суммами на уровне проекта и сервиса и могут автоматически блокировать использование при достижении порога. Это широкая финансовая защита, а не точный контроль использования, и, поскольку применение не происходит мгновенно, возможны некоторые превышения.

Используйте квоты на токены как первую линию защиты для расходов на ИИ, а лимит расходов — как общую защитную сетку для проекта.

Как работает принудительное применение

Квоты применяются путем остановки работы, а не путем позволения запросу выполняться сверх лимита. Запрос отклоняется заранее с ошибкой QuotaExceeded, только если необходимая ему квота уже исчерпана. В противном случае он запускается, и если квота заканчивается в процессе выполнения запроса, BigQuery прекращает отправку новых вызовов LLM:

• Функции, поддерживающие max_error_ratio (например, AI.IF), возвращают частичные результаты, если количество необработанных строк остается в пределах этого соотношения, в противном случае они завершаются ошибкой.

Функции, поддерживающие max_error_ratio (например, AI.IF), возвращают частичные результаты, если количество необработанных строк остается в пределах этого соотношения, в противном случае они завершаются ошибкой.

• Функции общего назначения (например, AI.GENERATE) все равно выполняются успешно. Пропущенные строки не имеют сгенерированного значения, а их поле статуса содержит ошибку превышения квоты.

Функции общего назначения (например, AI.GENERATE) все равно выполняются успешно. Пропущенные строки не имеют сгенерированного значения, а их поле статуса содержит ошибку превышения квоты.

Подробности см. в разделе о поведении принудительного применения квот в документации.

Оценка размера входных данных: AI.COUNT_TOKENS

Чтобы выбрать значения квот, полезно знать, какой объем текста ваши рабочие нагрузки отправляют модели. Функция AI.COUNT_TOKENS помогает в этом.

AI.COUNT_TOKENS возвращает количество токенов, которое токенизатор модели создает для текстовой строки, без выполнения тарифицируемого вызова генерации. Запустите ее для столбца, чтобы оценить ваши входные данные:

Полученное значение является нижней границей для входных токенов. Оно не включает токены вывода или рассуждений, инструкции, которые каждая AI-функция добавляет вокруг ваших входных данных, или нетекстовые входные данные, такие как изображения. Используйте ее, чтобы:

• Оценить входную сторону рабочей нагрузки перед ее запуском.

Оценить входную сторону рабочей нагрузки перед ее запуском.

• Подобрать правильный размер квот вместе с небольшим тестовым запуск, который измеряет фактическое использование входных и выходных данных.

Подобрать правильный размер квот вместе с небольшим тестовым запуск, который измеряет фактическое использование входных и выходных данных.

• Перевести токены в доллары, используя опубликованные цены платформы Gemini для вашей модели.

Перевести токены в доллары, используя опубликованные цены платформы Gemini для вашей модели.

От токенов к бюджету: практический пример

Предположим, вы хотите удерживать ежедневные расходы проекта на ИИ на уровне около 100 долларов США при использовании модели Gemini 3.1 Flash-Lite. Согласно опубликованным на сегодняшний день ценам (BigQuery обрабатывает данные пакетами, что обеспечивает скидку 50%):

• Входные токены: $0.125 за 1 миллион токенов

Входные токены: $0.125 за 1 миллион токенов

• Выходные токены (ответ + рассуждения): $0.75 за 1 миллион токенов

Выходные токены (ответ + рассуждения): $0.75 за 1 миллион токенов

Если небольшой тестовый запуск показывает среднее соотношение входных токенов к выходным 100:1, вы можете рассчитать дневной бюджет:

Решение дает около 754 миллионов входных токенов и 7,54 миллиона выходных токенов в день. Установите значения «AI input tokens per day» (Входные токены ИИ в день) и «AI output tokens per day» (Выходные токены ИИ в день) на эти уровни, чтобы удерживать расходы проекта на уровне около $100 в день. Если в проекте используются модели с разными ценами, рассчитывайте бюджет для каждой модели отдельно или усредняйте тарифы.

Лучшие практики управления затратами на ИИ

• Начните с квот на пользователя. Они предотвращают исчерпание бюджета проекта одним пользователем или вышедшим из-под контроля экспериментом.

Начните с квот на пользователя. Они предотвращают исчерпание бюджета проекта одним пользователем или вышедшим из-под контроля экспериментом.

• Выполняйте измерения перед масштабированием. Используйте AI.COUNT_TOKENS для оценки объема входных данных, а затем проверьте небольшой тестовый запуск на графике использования перед установкой лимитов.

Выполняйте измерения перед масштабированием. Используйте AI.COUNT_TOKENS для оценки объема входных данных, а затем проверьте небольшой тестовый запуск на графике использования перед установкой лимитов.

• Учитывайте сторону вывода. Выходные токены стоят дороже. Там, где функция принимает max_output_tokens, установите это значение для ограничения длины генерации.

Учитывайте сторону вывода. Выходные токены стоят дороже. Там, где функция принимает max_output_tokens, установите это значение для ограничения лимита генерации.

• Мониторьте и повторяйте. Корректируйте лимиты по мере изменения реального использования и бюджетов.

Мониторьте и повторяйте. Корректируйте лимиты по мере изменения реального использования и бюджетов.

Начало работы

Управление затратами на основе токенов уже доступно. Чтобы начать:

• Откройте «IAM & Admin» → «Quotas & System Limits» в Google Cloud Console и отфильтруйте по BigQuery API.

Откройте «IAM & Admin» → «Quotas & System Limits» в Google Cloud Console и отфильтруйте по BigQuery API.

• Просмотрите четыре квоты токенов, связанные с ИИ, и установите лимиты, соответствующие вашему бюджету.

Просмотрите четыре квоты токенов, связанные с ИИ, и установите лимиты, соответствующие вашему бюджету.

• Используйте AI.COUNT_TOKENS для определения размера входных данных.

Используйте AI.COUNT_TOKENS для определения размера входных данных.

Для получения полной информации см. документацию по контролю затрат на генеративный ИИ.

С внедренными защитными механизмами на основе токенов ваши команды могут использовать генеративный ИИ в BigQuery с предсказуемостью затрат, необходимой вашей организации.

• Аналитика данных
• ИИ и машинное обучение
• BigQuery