Если вы платите за API-вызовы открытой модели (open-weight), у вас может возникнуть вопрос, не обойдется ли собственный GPU дешевле. Аренда GPU оплачивается каждый час, независимо от того, занят он или простаивает, в то время как API взимает плату только за использованные токены.
LLM с самостоятельным хостингом обходится дешевле только тогда, когда ваш трафик загружает GPU в течение достаточного времени. По ценам на 8 октября 2026 года модель с 27 млрд параметров на одной арендованной RTX 3090 выходит на окупаемость при нагрузке около 12%, в то время как крупная смесь экспертов (MoE) на арендованных H200 никогда не оказывается выгоднее самого дешевого эндпоинта API с нулевым сохранением данных (ZDR).
В этой статье рассчитывается точка безубыточности на основе актуальных цен провайдеров из нашего API, а затем показывается, как средства контроля данных обеспечивают конфиденциальность.
Кратко (TL;DR)
- Нагрузка безубыточности — это почасовая арендная плата за GPU, деленная на стоимость такого же часового объема токенов через API. При нагрузке ниже этого уровня использование API обходится дешевле.
Нагрузка безубыточности — это почасовая арендная плата за GPU, деленная на стоимость такого же часового объема токенов через API. При нагрузке ниже этого уровня использование API обходится дешевле.
- DeepSeek V4.1 Flash на четырех арендованных H200 никогда не окупается по сравнению с самым дешевым ZDR-эндпоинтом. На двух B200 при минимальной найденной арендной ставке требуется нагрузка в 76%.
DeepSeek V4.1 Flash на четырех арендованных H200 никогда не окупается по сравнению с самым дешевым ZDR-эндпоинтом. На двух B200 при минимальной найденной арендной ставке требуется нагрузка в 76%.
- По ценам на 8 октября модель Qwen3.8 27B на одной RTX 3090 стоимостью $0,50 в час окупается при нагрузке от 6% до 12%, но каждый пользователь получает скорость всего около 15 токенов в секунду.
По ценам на 8 октября модель Qwen3.8 27B на одной RTX 3090 стоимостью $0,50 в час окупается при нагрузке от 6% до 12%, но каждый пользователь получает скорость всего около 15 токенов в секунду.
- Опубликованные затраты на самостоятельный хостинг в размере около одного цента за миллион токенов в основном учитывают кэшированные входные токены, которые через API тоже стоят почти бесплатно.
Опубликованные затраты на самостоятельный хостинг в размере около одного цента за миллион токенов в основном учитывают кэшированные входные токены, которые через API тоже стоят почти бесплатно.
- Большинству требований конфиденциальности не нужен самостоятельный хостинг. Параметр provider.zdr ограничивает запросы эндпоинтами с нулевым сохранением данных, а наши домены в ЕС и США удерживают запросы в пределах регионов.
Большинству требований конфиденциальности не нужен самостоятельный хостинг. Параметр provider.zdr ограничивает запросы эндпоинтами с нулевым сохранением данных, а наши домены в ЕС и США удерживают запросы в пределах регионов.
Как рассчитать, окупается ли самостоятельный хостинг?
Возьмите один час работы GPU и оцените его стоимость двумя способами. С одной стороны — арендная плата. С другой — то, сколько API запросил бы за токены, которые этот GPU может обработать за час со скоростью, приемлемой для ваших пользователей.
Точка безубыточности в 30% означает, что GPU должен быть занят в течение 30% арендуемых часов, прежде чем он станет дешевле API. Значение выше 100% означает, что API выигрывает, даже если GPU никогда не отдыхает.
Обе стороны должны оцениваться по одному и тому же набору токенов, поскольку входящие, кэшированные входящие и исходящие токены имеют совершенно разное ценообразование в API. Мы также не учитывали затраты на разработку и избыточную емкость, которую вы бы держали для пиков трафика, поэтому каждое значение безубыточности в этой статье является нижней границей.
Какова стоимость API для той же открытой модели?
Большинство открытых моделей обслуживается множеством провайдеров. Каждый из них запускает собственную копию весов на своем железе и устанавливает собственную цену. Наш API эндпоинтов (GET /api/v1/models/{author}/{slug}/endpoints) возвращает цену и точность каждого провайдера для модели, а GET /api/v1/endpoints/zdr выводит список эндпоинтов с политикой ZDR. По состоянию на 8 октября 2026 года они возвращали следующие данные:
Для одних и тех же весов самый дорогой провайдер берет за вывод Qwen3.8 27B в 3,5 раза больше самого дешевого, а для DeepSeek V4.1 Flash — почти в 13 раз. Расчет безубыточности на основе одной лишь прейскурантной цены может сильно ошибаться. Провайдеры также используют разную точность: от fp4 до bf16, и в нашей статье о квантовании LLM измеряется, насколько сильно это меняет результаты.
Во что нам обошлись реальные рабочие нагрузки
Модели рассуждений тратят токены вывода на «размышления» перед ответом, а агенты при каждом шаге отправляют заново весь контекст. Поэтому мы запустили две рабочие нагрузки для каждой модели с принудительным использованием ZDR и оценили каждый запрос с помощью GET /api/v1/generation, который сообщает количество токенов и стоимость, фактически выставленные провайдером в счет:
Последний столбец делит общую стоимость (включая входные данные) на выходные токены. Почти каждый выходной том был частью рассуждений, и локальная копия модели потратила бы на их генерацию столько же времени GPU. Qwen3.8 27B также достигла нашего лимита в 16 000 токенов, продолжая размышлять на 3 из 7 шагов агента. Каждый запуск API для этой статьи обошелся в общей сложности в $0,49.
Каковы затраты на запуск LLM с самостоятельным хостингом?
Мы не арендовали эти GPU самостоятельно. Сторона самостоятельного хостинга использует опубликованные бенчмарки и цены на аренду, поэтому воспринимайте каждую строку как допущение:
DeepSeek V4.1 Flash имеет 552B backbone parameters, поэтому ей нужен узел с несколькими GPU. Qwen3.8 27B — это плотная модель, которая помещается на одной карте емкостью 24 ГБ при 4 битах.
Пропускная способность указана в расчете на один GPU, как это принято в InferenceX, поэтому все затраты в этой статье указаны в расчете на GPU-час. Скорость на пользователя учитывает только время генерации ответа, а эти агентские сессии тратят большую часть времени на префилл (prefill), поэтому она не масштабируется до общего итога. Показатель для 3090 взят из пропатченной сборки vLLM от HyperQwen, так что рассматривайте его как лучший из возможных сценариев.
Мы использовали показатель для сквозного сценария (end-to-end), который включает префилл, а не их главный рекламный показатель скорости декодирования в 1 035 токен/с. HyperQwen проводила бенчмаркинг на промптах длиной 128 токенов, а наши чат-промпты намного длиннее, поэтому для нашего набора чата мы оценили скорость в 565 выходных токенов в секунду на основе измеренных показателей префилла и декодирования.
Когда самостоятельный хостинг окупается?
Для каждой настройки мы взяли часовой объем токенов, измеренный в бенчмарке, разделили его на некэшированные входные, кэшированные входные и выходные токены, оценили этот набор по каждому ZDR-эндпоинту модели, а затем разделили аренду на полученный результат. Цены API приведены на 8 октября 2026 года:
«Никогда» означает, что аренда превышает стоимость API даже при нагрузке 100%. Цены меняются быстро. 19 октября новый ZDR-эндпоинт для Qwen3.8 27B установил цену в $0,50 за миллион выходных токенов, что смещает точку безубыточности для коротких промптов примерно до 29%.
Начните с имеющейся у вас нагрузки. Трафик, поступающий только в рабочие часы (40 из 168 часов в неделю), загружает GPU максимум на 24% времени. По ценам на 8 октября это исключает все строки DeepSeek и оставляет только 3090. По сравнению с эндпоинтом от 19 октября для 3090 потребуется около 29% нагрузки, поэтому проверяйте актуальные цены перед покупкой. Пакетный конвейер (batch pipeline), работающий круглосуточно, может достигать 70%, что выводит обе строки B200 в диапазон окупаемости по сравнению со средней ценой ZDR, но ни одна из них не окупается по сравнению с самой дешевой.
В месячном исчислении арендованная 3090 обходится в $365 и окупается примерно после 170 миллионов выходных токенов нашего чат-микса. Узел с двумя B200 стоит $5 402 в месяц при розничной аренде и должен обработать 2,7 миллиарда выходных токенов, прежде чем он станет выгоднее самого дешевого ZDR-эндпоинта.
Маленькая модель оказывается в выигрыше, потому что цены ее API высоки по сравнению с необходимым ей «железом». Провайдеры берут от $1,49 до $5,25 за миллион выходных токенов Qwen3.8 27B, а карта стоимостью $0,50 в час производит около 3,4 миллиона таких токенов в час. DeepSeek V4.1 Flash — противоположный случай. Двадцать четыре ZDR-эндпоинта конкурируют за ее трафик, и самый дешевый берет $0,18 за миллион выходных токенов.
Низкая стоимость 3090 связана с компромиссом в производительности. Она достигает такой пропускной способности, обрабатывая 64 запроса одновременно, со скоростью около 15 токенов в секунду на каждый. Это медленно для интерфейса чата и еще медленнее для модели рассуждений, которая записывает тысячи скрытых токенов перед выдачей ответа. Среди 18 API-эндпоинтов для Qwen3.8 27B медианная скорость за 30 минут до нашего запроса составляла 45 токенов в секунду, а самая высокая — 474.
Почему опубликованные затраты на самостоятельный хостинг выглядят такими низкими?
Если вы видели оценки самостоятельного хостинга на уровне около цента за миллион токенов, причиной обычно является набор токенов. InferenceX оценивает DeepSeek V4.1 Flash на H200 в $0,012 за миллион токенов по ценам облачных провайдеров. Этот показатель относится к миллиону общих токенов, и в рабочей нагрузке агентов 99% токенов являются входными, причем 95% из них обслуживаются из префикс-кэша. Через API кэшированный ввод для этой модели стоит от $0,0007 до $0,20 за миллион, так что эти токены в любом случае обходятся дешево.
При расчете стоимости за выходной токен тот же H200 при розничной арендной плате в $2,90 обходится в $3,49 за миллион до учета какого-либо ввода. Самый дешевый эндпоинт ZDR стоит $0,18.
Нужен ли самостоятельный хостинг ради конфиденциальности?
Конфиденциальность — еще одна частая причина для самостоятельного хостинга, однако большую ее часть можно получить и через API. Установка параметра provider.zdr в запросе ограничивает его эндпоинтами, провайдеры которых не сохраняют ваши промты или ответы. Если ваши настройки ZDR также разрешают эндпоинты с сохранением для безопасности (Safety Retention), они могут сохранять промты и ответы для обнаружения злоупотреблений, поэтому выбирайте ZDR только тогда, когда вам вообще не требуется хранение данных. Провайдеры с неявным кэшированием также могут в течение короткого времени хранить производные данные KV-кэша, как описано в нашем руководстве по неявному кэшированию. Вы также можете принудительно включить ZDR для всего аккаунта, для группы моделей или в шлюзе безопасности (guardrail), охватывающем определенные ключи API. В тарифных планах Business и Enterprise запросы, отправленные на eu.openrouter.ai или us.openrouter.ai, выполняются только на эндпоинтах в соответствующем регионе, и в случае выхода за его пределы запрос завершится ошибкой, а не покинет регион.
Этот скрипт тестирует оба варианта, включая два запроса, которые, как мы ожидали, завершатся ошибкой:
Вывод записан 8 октября 2026 г.:
Оба фильтра срабатывают до выбора провайдера, поэтому они сужают список эндпоинтов-кандидатов, а не перенаправляют запросы постфактум. При включенном ZDR собственный API DeepSeek исключается, так как он сохраняет данные. Закрепление запроса за этим провайдером с помощью параметра only не оставляет никаких эндпоинтов вообще, что приводит к возврату первой ошибки 404. Европейский домен оставляет только те эндпоинты, которые мы подключили в Европе. У DeepSeek V4.1 Flash таких не оказалось, поэтому третий запрос завершился ошибкой вместо незаметного перенаправления в США. Чтобы использовать маршрутизацию по ЕС, выберите модель с европейскими эндпоинтами из GET /api/v1/models?region=eu, где было перечислено 72 модели, включая GLM 5.3.
У ZDR есть одно ограничение. Ваши промты по-прежнему обрабатываются на графическом процессоре провайдера, поэтому вы не получаете контроля над аппаратным обеспечением. Если ваша политика требует, чтобы модель выполнялась на развертывании, которым управляете вы, частные эндпоинты (план Enterprise) добавляют ваше собственное выделенное или дообученное развертывание в список провайдеров модели из каталога. Оно должно быть размещено у провайдера, которого мы поддерживаем для BYOK, ваша команда вызывает его с тем же псевдонимом, а публичные эндпоинты остаются доступными в качестве резервных вариантов, если вы их укажете. Если данные ни при каких обстоятельствах не должны покидать управляемое вами железо, разверните модель самостоятельно и подберите размер оборудования по таблице окупаемости выше. Наше руководство по ZDR и руководство по локализации данных подробнее сравнивают эти варианты.
Можно ли совмещать самостоятельный хостинг и использование API?
Да, и для большинства команд таблица окупаемости указывает именно на эту настройку. GPU окупается только при высокой нагрузке, поэтому подбирайте размер собственного оборудования под стабильную базовую нагрузку вашего трафика, где оно будет постоянно занято, а пиковые нагрузки отправляйте в API, где вы платите только за то, чем пользуетесь.
Это работает, потому что vLLM и SGLang предоставляют тот же совместимый с OpenAI интерфейс чата, что и мы. Клиент переключается между ними, изменяя базовый URL, ключ и имя модели. Переключайтесь на API в случае ошибки соединения или при получении ошибки 429 или 503, которую возвращает ваш сервер, когда его очередь переполнена. Установите provider.zdr на стороне API, чтобы избыточный трафик не сохранял никаких данных. Если ваша политика требует, чтобы промты оставались на контролируемом вами железе, не перенаправляйте избыточный трафик в API.
В этой схеме могут возникнуть две проблемы. Если ваша локальная копия работает с иной точностью (прецизионностью), чем эндпоинт API, один и тот же промт может дать разные ответы, поэтому закрепите сторону API за соответствующей квантизацией с помощью маршрутизации провайдеров. А разговор, который на каком-то этапе меняет бэкенд, теряет кэш промтов, поэтому удерживайте каждую беседу на одной стороне с самого ее начала.
Часто задаваемые вопросы
Стоит ли развертывать LLM самостоятельно?
С точки зрения исключительно затрат — только если вы можете поддерживать постоянную загрузку GPU. Согласно нашим расчетам, Qwen3.8 27B на арендованной RTX 3090 окупается при нагрузке от 6 до 12%. DeepSeek V4.1 Flash на арендованных датацентровых GPU требует загрузки в 37% или более, а по сравнению с самым дешевым эндпоинтом без сохранения данных он зачастую вообще не окупается. Конфиденциальность и контроль могут оправдать самостоятельный хостинг при любой нагрузке.
Какая LLM лучше всего подходит для самостоятельного хостинга?
Лучше всего подходят модели, которые помещаются на одном GPU, поскольку они позволяют избежать использования многопроцессорных серверов, а цены их API оставляют наибольший простор для экономии. Qwen3.8 27B, например, работает на одной карте 24 ГБ с 4 битами. Наши рейтинги и сравнение моделей с открытыми и закрытыми весами показывают, какие модели разработчики используют чаще всего.
Каков самый дешевый вариант самостоятельного хостинга LLM?
GPU, который у вас уже есть. RTX 3090 с ограничением мощности до 250 Вт потребляет электроэнергию примерно на $0,05 в час по средним расценкам для жилых домов в США по состоянию на июль 2026 года, так что она превосходит самый дешевый эндпоинт без сохранения данных для Qwen3.8 27B, как только оказывается занята примерно 1% времени. Обратной стороной являются более медленные ответы для каждого пользователя и затраты вашего собственного времени на обслуживание.
Могу ли я разместить собственную модель и по-прежнему использовать ее через OpenRouter?
Да, на тарифном плане Enterprise. Частные эндпоинты (Private Endpoints) направляют псевдоним модели из каталога на ваше собственное выделенное или дообученное развертывание, размещенное у поддерживаемого нами для BYOK провайдера. Только одобренные вами пользователи и организации могут видеть ее или вызывать.
Дальнейшие действия
- Нулевое сохранение данных (Zero Data Retention): принудительное применение ZDR для каждого запроса, для группы моделей, в шлюзе безопасности или для всего аккаунта.
Нулевое сохранение данных (Zero Data Retention): принудительное применение ZDR для каждого запроса, для группы моделей, в шлюзе безопасности или для всего аккаунта.
- Маршрутизация по регионам (In-Region Routing): отправка запросов через домены ЕС и США и принудительное использование региона с помощью шлюза безопасности.
Маршрутизация по регионам (In-Region Routing): отправка запросов через домены ЕС и США и принудительное использование региона с помощью шлюза безопасности.
- На страницах моделей DeepSeek V4.1 Flash и Qwen3.8 27B указаны актуальные цены и пропускная способность для каждого провайдера.
На страницах моделей DeepSeek V4.1 Flash и Qwen3.8 27B указаны актуальные цены и пропускная способность для каждого провайдера.
