В Sentry хотели, чтобы все экспериментировали с ИИ и использовали его так, как считают нужным. Через несколько месяцев расходы начали расти, но никто не мог сказать, кто и сколько тратит, на какие модели и подходят ли эти модели вообще. В июле 2026 года Sentry перевела внутреннее использование ИИ на OpenRouter, за три недели навела порядок примерно с 500 ключами Anthropic и OpenAI, а в августе отключила прямой доступ к обеим платформам. Этот переход позволил Sentry одновременно усилить контроль и расширить доступ к моделям. Теперь они могут отслеживать расходы до конкретного сотрудника или рабочего пространства, а инженеры могут тестировать любые новые модели без одобрения со стороны поставщика.
Результаты
- Сфера деятельности: Инструменты для разработчиков и мониторинг
- Штаб-квартира: Сан-Франциско, Калифорния, США
- Штат сотрудников: ~400
Sentry — это платформа мониторинга приложений, которую используют миллионы разработчиков для поиска и исправления сломанного кода. Ее клиенты внедряют инструменты для написания кода с помощью ИИ быстрее, чем кто-либо другой, и все сотрудники Sentry работают точно так же. Они тестируют новые модели в день их выпуска и создают собственные агенты, а доступ к ИИ открыт для всех.
Сегодня каждый внутренний инструмент в Sentry, которому требуется API-ключ модели, работает через OpenRouter, включая Warden — агента Sentry для проверки кода и безопасности. То же самое касается и официального сервера Sentry MCP, к которому подключаются клиенты компании.
Никто не мог сказать, куда уходят деньги
Даниэль Гриссер, проработавший в Sentry десять лет и руководящий командой телеметрии из Веены, возглавил переход компании на OpenRouter. Он описывает ранний подход компании к ИИ-инструментам как «Дикий Запад». У Sentry были корпоративные аккаунты в Anthropic и OpenAI, любой мог создавать API-ключи, и никакого регламента для этого не существовало. Это было сделано намеренно. Руководство хотело, чтобы сотрудники экспериментировали, и какое-то время такая схема работала.
Проблемы начались с прозрачности. Сооснователь Sentry Дэвид Крамер создал дашборд расходов на базе собственных API провайдеров — результат пары дней работы, который Sentry позже опубликовала на GitHub как abacus. Все работало до тех пор, пока Sentry не перешла на корпоративные типы аккаунтов. Некоторые отчеты стали поступать в виде CSV-файлов с общими затратами, без разбивки по людям или моделям и без данных о попаданиях в кэш. Тем временем расходы продолжали расти.
Один из случаев показал, насколько сильно отчетность может скрывать реальную картину. Расходы одного инженера достигали 3000 долларов в день, потому что кастомное расширение в его среде разработки ломало кэш промптов при каждом запросе, поэтому токены, которые должны были обслуживаться из кэша, тарифицировались по полной цене. Это продолжалось пару дней, пока Гриссер не заметил аномалию, причем обнаружил он ее лишь потому, что инженер использовал созданный им самим API-ключ. По словам Гриссера, привязанное к корпоративному логину, такое использование никогда бы не всплыло. Как только кэширование снова заработало, расходы инженера сократились до крошечной доли от прежней суммы.
«Нам нужно было что-то менять, потому что это было неустойчиво. Мы понятия не имели, куда уходят деньги и кто сколько тратит». Даниэль Гриссер, старший директор по инженерным вопросам, Sentry
«Нам нужно было что-то менять, потому что это было неустойчиво. Мы понятия не имели, куда уходят деньги и кто сколько тратит».
Даниэль Гриссер, старший директор по инженерным вопросам, Sentry
Второй проблемой был выбор. До появления OpenRouter у инженеров Sentry была лишь горстка моделей от двух провайдеров. Получение любой другой модели требовало долгого согласования нового вендора, и для того, кто хотел потратить полдня на тестирование модели с открытыми весами, этот процесс просто не стоил усилий. Инженеры, желавшие попробовать такие модели, использовали собственные личные аккаунты, из-за чего это использование оказывалось вне поля зрения Sentry.
«Внедрение или случайное тестирование любой другой модели через любого другого провайдера было практически исключено как тема для разговора». Даниэль Гриссер, старший директор по инженерным вопросам, Sentry
«Внедрение или случайное тестирование любой другой модели через любого другого провайдера было практически исключено как тема для разговора».
Даниэль Гриссер, старший директор по инженерным вопросам, Sentry
Каждому — ключ и бюджет
Прежде чем выбрать провайдера, Гриссер рассматривал запуск LiteLLM для управления доступом команд. Это было выполнимо, но Sentry пришлось бы самостоятельно хостить и поддерживать это решение. Для управления тем, как люди по всей компании изо дня в день используют ИИ, требовалось то, что не придется обслуживать самостоятельно.
Гриссер уже знал об OpenRouter по своей прежней работе, и при поддержке Крамера юридическая проверка и согласования прошли быстро.
«Мы можем все настроить кликами в интерфейсе, а кто-то другой несет ответственность за то, чтобы все это работало». Даниэль Гриссер, старший директор по инженерным вопросам, Sentry
«Мы можем все настроить кликами в интерфейсе, а кто-то другой несет ответственность за то, чтобы все это работало».
Даниэль Гриссер, старший директор по инженерным вопросам, Sentry
Нулевое хранение данных было обязательным требованием, поэтому Sentry включила его по умолчанию, в остальном ограничив маршрутизацию собственными ключами провайдеров с помощью механизма bring-your-own-key (BYOK). Среды разработки и большинство рабочих пространств работают на существующих ключах Sentry для Anthropic и OpenAI именно так, а OpenRouter берет на себя атрибуцию и лимиты.
Внедрение началось в начале июля 2026 года. Все получили доступ в первый же день, включая команды, не связанные с разработкой, и сотрудники могли создавать столько ключей, сколько хотели. По умолчанию каждый ключ привязан к создавшему его пользователю. Для каждого рабочего пространства установлен общий лимит в рамках бюджета, одобренного финансовым директором Sentry, и пока ни одно рабочее пространство не исчерпало свой лимит.
Перенос инструмента оказался самой быстрой частью. Поскольку OpenRouter предоставляет эндпоинты, совместимые с Anthropic и OpenAI, Гриссер говорит, что это потребовало изменения всего трех переменных при сохранении того же SDK, который инструмент уже использовал. Наведение порядка заняло больше времени. Только около 50 из примерно 500 ключей Anthropic и OpenAI использовались ежедневно, и Sentry пришлось разыскивать каждый из них. Гриссер проделал большую часть этой работы сам, давая каждому владельцу недельную фору для создания ключа OpenRouter до отключения старого. Вся миграция заняла около трех недель, и в августе Sentry отключила прямой доступ инженеров к обеим платформам, так что они больше не могут создавать там ключи.
Теперь для тестирования новой модели достаточно изменить конфиг
За первые три месяца работы на OpenRouter в аккаунте Sentry использовалось 147 моделей. Этот подсчет учитывает каждую версию как отдельную модель, поэтому некоторые линейки Claude и GPT появляются более одного раза. Когда выходит новая модель, например релиз Grok или Gemini 3.7, инженер настраивает на нее ключ и запускает оценку.
«Раньше требовалось время на то, чтобы получить одобрение новой модели. А теперь это больше не проблема». Даниэль Гриссер, старший директор по инженерным вопросам, Sentry
«Раньше требовалось время на то, чтобы получить одобрение новой модели. А теперь это больше не проблема».
Даниэль Гриссер, старший директор по инженерным вопросам, Sentry
В июльском посте на X Крамер написал, что Sentry провела бенчмаркинг Grok 4.5 на наборах тестов для Warden и Junior и что модель показала хорошие результаты по соотношению цены и задержки. В рамках этого аккаунта Grok 4.5 вошла в число моделей с наибольшим объемом затрат.
Передовые (frontier) модели по-прежнему составляют основную часть использования ИИ в Sentry. На модели с открытыми весами пришлось около 12% токенов, причем большая их часть пришлась на Kimi K2.6 при запуске тестовых наборов для внутренних инструментов Sentry, включая Warden.
«Люди определенно экспериментировали с моделями с открытыми весами и в некоторых случаях используют их, потому что они более экономичны для тех задач, которые им нужно решить с помощью своей модели». Даниэль Гриссер (Daniel Griesser), старший директор по разработке, Sentry
«Люди определенно экспериментировали с моделями с открытыми весами и в некоторых случаях используют их, потому что они более экономичны для тех задач, которые им нужно решить с помощью своей модели».
Даниэль Гриссер (Daniel Griesser), старший директор по разработке, Sentry
GPT-5.6 Luna используется по умолчанию для инструментов с высоким объемом запросов, таких как официальный MCP-сервер Sentry, и на нее пришлось 30,8% токенов аккаунта при затратах на модели в размере 5,2%.
Команды приносят свои собственные инструменты
По объему токенов вторым по популярности инструментом для написания кода в аккаунте Sentry является Pi — минималистичный терминальный агент с открытым исходным кодом от компании Earendil, который почти не уступает Claude Code. За ними следуют OpenCode, Codex, Cursor и длинный хвост агентов, созданных инженерами Sentry самостоятельно, и все они работают на одном аккаунте.
«Это такой приятный опыт, если вы используете собственную среду агента или создаете агента самостоятельно. У вас есть один ключ, и вы можете настроить, какую модель хотите использовать». Даниэль Гриссер (Daniel Griesser), старший директор по разработке, Sentry
«Это такой приятный опыт, если вы используете собственную среду агента или создаете агента самостоятельно. У вас есть один ключ, и вы можете настроить, какую модель хотите использовать».
Даниэль Гриссер (Daniel Griesser), старший директор по разработке, Sentry
Учетные записи теперь есть у 113 человек, причем не только в инженерном отделе. Рахул Чабрия (Rahul Chhabria), вице-президент по маркетингу в Sentry, создал производственный сервис для запуска программы поддержки стартапов Sentry, и теперь он работает на OpenRouter. Служба поддержки создала собственные оценки (evals) в рамках того же аккаунта. В общей сложности через него отправляют трафик более 45 приложений.
У каждого запроса есть владелец
Переход на OpenRouter не изменил объем расходов Sentry, говорит Гриссер. Поскольку ключи привязаны к пользователям или рабочим пространствам, каждый запрос связан с владельцем и моделью, а обычно — и с инструментом, который его отправил. Любой инженер может щелкнуть по своему имени пользователя и посмотреть, сколько он потратил.
Аномалии отображаются на панели мониторинга
Гриссер просматривает панель мониторинга примерно раз в две недели. В конце сентября он обнаружил использование на сумму 8 000 долларов по одному единственному ключу в рабочем пространстве Sentry Tools. У ключа был не тот владелец. Инженер создал его для инструмента, которым владел кто-то другой. Гриссер переименовал его и превратил в ключ рабочего пространства. Ключи могут перемещаться между рабочими пространствами или от человека к рабочему пространству без повторной генерации токена, поэтому ничего не пришлось развертывать заново.
Теперь Sentry устанавливает еженедельный бюджет в размере 1 500 долларов на человека в своем пространстве по умолчанию, и каждое рабочее пространство имеет собственный лимит. Эти ограничения служат защитой от аномальных расходов. Когда ключ достигает своего лимита, он останавливается. Либо человек интересуется в чем дело, либо срабатывает уведомление, и вопрос передается дальше по инстанциям.
«Раньше было очень легко допустить ситуацию, когда один инженер или один пользователь мог взвинтить наши общие расходы на ИИ до небес, потому что не было никакого контроля, никаких ограничений и никакой подстраховки». Даниэль Гриссер (Daniel Griesser), старший директор по разработке, Sentry
«Раньше было очень легко допустить ситуацию, когда один инженер или один пользователь мог взвинтить наши общие расходы на ИИ до небес, потому что не было никакого контроля, никаких ограничений и никакой подстраховки».
Даниэль Гриссер (Daniel Griesser), старший директор по разработке, Sentry
Руководство перестало жить в ожидании неприятных сюрпризов
Для инженерного руководства Sentry эти лимиты установили верхний предел неожиданных счетов. На вопрос о том, что бы он посоветовал другому инженерному руководителю, планирующему такой же шаг, Гриссер ответил кратко.
«Внедряйте и не оглядывайтесь назад. Это просто решает проблемы, на которые вам на самом деле не хочется тратить время». Даниэль Гриссер (Daniel Griesser), старший директор по разработке, Sentry
«Внедряйте и не оглядывайтесь назад. Это просто решает проблемы, на которые вам на самом деле не хочется тратить время».
Даниэль Гриссер (Daniel Griesser), старший директор по разработке, Sentry
