Для больших объемов работы или запросов, которые не требуют немедленного выполнения, теперь можно использовать новый пакетный API. При отправке пакета провайдер сам выбирает время в течение 24-часового окна для выполнения запроса, а взамен обычно берет 50% (а иногда и меньше) от своей обычной цены за токен.
Функция уже работает для более чем 70 моделей. Узнайте, как ее использовать, в документации по пакетному API.
На практике мы заметили, что вам редко приходится ждать близко к 24 часам. Из более чем 230 тыс. пакетов, выполненных за двухнедельный период бета-тестирования, медианное время завершения составило 7 минут, а 90% завершились в течение часа.
Пакетный API — это асинхронный интерфейс для рабочих нагрузок, где вы можете допустить сильно варьирующееся время ответа, например, для разметки корпуса текстов, заполнения эмбеддингов, оценки набора тестов, суммирования накопившихся тикетов или запуска одного и того же промпта для нескольких тысяч строк за ночь.
Как работает пакетный API
Вызовите api/v1/batches со списком ваших запросов и укажите используемый формат эндпоинта. Поддерживаются чат-комплиты, ответы, сообщения и эмбеддинги. Например:
После запроса начните опрос GET /api/v1/batches/:id, пока статус не станет completed (завершен), failed (ошибка), expired (истек срок) или cancelled (отменен). Завершенные пакеты возвращают свои результаты внутри того же ответа.
Большинство пакетов завершается за считанные минуты
Мы изучили пакеты, завершенные во время двухнедельного периода бета-тестирования, и измерили время от принятия до готовых результатов. Медианное значение составило 7 минут, 90-й перцентиль — 1,0 часа, а 99-й перцентиль — 10,3 часа. Мы также выяснили, что время суток отправки имеет большее значение, чем количество отправленных запросов.
Пакеты, отправленные с 5 утра до полудня по тихоокеанскому времени, обрабатываются значительно медленнее, чем в другое время суток. Самая медленная десятая часть занимает от 2 до 4,5 часов. Отправляйте в любой другой час, и 90-й перцентиль упадет ниже 1,1 часа, а после 18:00 по тихоокеанскому времени он составит менее 50 минут.
Пакет с одним запросом завершается за 5–11 минут в зависимости от часа, а пакет из 1 000 и более запросов — за 12–21 минуту. Обработка больших пакетов действительно занимает больше времени. Самая медленная десятая часть пакетов с более чем 100 запросами, отправленных между полуночью и полуднем по тихоокеанскому времени, заняла до 6,8 часов.
Что поддерживается в пакетной обработке
- Форматы запросов: поддерживается любой формат тела текстового запроса, который вы уже отправляете в OpenRouter, включая чат-комплиты, ответы, сообщения и эмбеддинги.
- Маршрутизация: каждый пакет выполняется у одного провайдера. По умолчанию мы выбираем самый дешевый пакетный эндпоинт для модели с учетом вашего белого списка провайдеров, политики данных и настроек BYOK.
- BYOK: если настроен ключ провайдера, пакеты у поддерживающих это провайдеров проходят через ваш ключ, и вы платите только комиссию BYOK.
- Результаты для каждого запроса: каждый результат возвращается независимо, поэтому несколько некорректных строк никогда не приведут к сбою остальной части задачи.
- Хранение: входные данные и результаты сохраняются в течение 30 дней или до тех пор, пока вы не удалите пакет (DELETE).
- Логирование: каждый пакет отображается на вкладке «Пакеты» (Batches) в ваших логах с указанием модели, провайдера, статуса и стоимости.
- Цены: скидка применяется к цене за токен и варьируется в зависимости от модели. Вызовы веб-поиска тарифицируются по стандартным ставкам.
- Входные данные: изображения и файлы должны быть доступны по публичным URL. Аудио, видео и собственный плагин веб-поиска OpenRouter недоступны в пакетном режиме (см. раздел ограничений в документации).
Начало работы
Выберите модель с поддержкой пакетов, получите ключ API и отправьте свой первый пакет на https://openrouter.ai/api/v1/batches. В разделе «Быстрый старт» приведены полные структуры запросов и ответов.
Расскажите нам о том, что вы обрабатываете пакетами, в Discord.
