Основные выводы

В работе с GLM 5.3 Flash сервис Telnyx завершал ответы быстрее и стоил дешевле, в то время как Modal Shared более стабильно обеспечивал появление видимых ответов.

У Telnyx была более низкая медианная задержка завершения ответа во всех восьми сценариях нагрузки и параллелизма.
У Telnyx была более высокая медианная скорость генерации во всех восьми сценариях, примерно в 2,1 раза выше, чем у Modal Shared.
Telnyx стоил на 70% дешевле согласно опубликованным тарифам на токены.
У Modal Shared было меньшее время p95 до появления первого видимого ответа в семи из восьми сценариев.

Выбор API для инференса — это решение не только о выборе модели, но и о способе обслуживания. Даже когда два провайдера предоставляют одну и ту же модель с открытыми весами через совместимые API, их очереди, префилл, декодирование, сетевая инфраструктура и ценообразование могут создавать разный опыт для пользователей и агентов.

Мы сравнили конкретный идентификатор модели zai-org/GLM-5.3-Flash в Telnyx Inference и Modal Shared. Оба сервиса являются управляемыми и работают по модели оплаты за токен, поэтому это прямое сравнение для разработчиков, которым нужен хостинг инференса без необходимости управлять GPU. Идентификатор модели, новые промпты, усилия на рассуждение, лимиты вывода, метод потоковой передачи и график запросов оставались неизменными.

Этот анализ дополняет наше предыдущее исследование провайдеров Flash более узким изучением параллелизма. Мы изолировали Telnyx и Modal Shared в четырех типах нагрузки при параллелизме 1 и 10, с 480 измеренными запросами в основном сравнении.

Результаты GLM 5.3 Flash вкратце

Telnyx лидировал по завершенным ответам, в то время как Modal Shared лидировал по времени до появления первого видимого ответа. Приложениям, которым нужен готовый ответ, важна сквозная задержка и скорость генерации. Интерактивным интерфейсам также важно, насколько стабильно начинает появляться видимый текст.

Эти объединенные значения суммируют все запросы с новыми промптами. Приведенные ниже графики сохраняют отдельные ячейки нагрузки и параллелизма, поскольку усредненное число может скрывать различия между короткими запросами, запросами с длинным контекстом и запросами с интенсивной генерацией.

Запуск GLM 5.3 Flash на Telnyx Inference

Вызывайте ту же модель с открытыми весами через API, совместимый с OpenAI, с более быстрыми завершенными ответами и более низкими ценами на токены в этом бенчмарке.

GLM 5.3 Flash завершался быстрее на Telnyx

Сквозная задержка измеряет весь запрос целиком: от отправки промпта до завершения потокового ответа. Это метрика, которую ощущает агент, когда он не может предпринять следующее действие, пока ответ не будет готов.

Telnyx показал более низкую медианную (p50) сквозную задержку во всех восьми ячейках и более низкую задержку p95 в шести из восьми. По всем объединенным запросам p50 E2E у Telnyx составила 4,92 секунды по сравнению с 8,75 секундами у Modal Shared. Объединенный показатель p95 составил 11,91 секунды против 20,62 секунд.

Двумя исключениями для p95 стали нагрузка с 10 тыс. входных данных при параллелизме 1 и нагрузка с 1 тыс. входных данных при параллелизме 10. Результат сильный, но это не утверждение, что Telnyx лидировал в каждой ячейке по задержке «хвоста».

Скорость генерации была выше у Telnyx в каждой ячейке

Как только текст ответа становится видимым, скорость вывода помогает определить, сколько времени пользователь или последующий агент будет ждать остальную часть. У Telnyx была более высокая пропускная способность вывода p50 во всех восьми тестовых ячейках.

По всем объединенным запросам Telnyx генерировал 138,1 выходных токена в секунду по сравнению с 66,2 токенами в секунду у Modal Shared. Это примерно в 2,1 раза выше медианной скорости вывода. Соответствующее медианное время на один выходной токен составило 7,24 мс у Telnyx и 15,10 мс у Modal Shared.

Разница проявилась в профилях с короткими запросами, длинным контекстом и интенсивной генерацией, а не зависела от одного типа нагрузки.

Modal начинал выводить видимые ответы более стабильно

Модели рассуждения могут выдавать внутренние рассуждения перед тем, как выдать текст ответа. Поэтому мы измерили две разные отправные точки:

Первая активность: когда модель выдала свой первый непустой потоковый вывод, включая рассуждения.
Первый видимый ответ: когда впервые появился текст ответа, который приложение могло отобразить.

У Telnyx было меньшее медианное время до видимого ответа в пяти из восьми ячеек. У Modal Shared было меньшее время p95 до видимого ответа в семи из восьми ячеек. Проще говоря, Telnyx обычно заканчивал полный ответ раньше, в то время как Modal чаще показывал лучший результат по «хвосту» для начала отображения видимого текста.

Вот почему задержку первого ответа и завершенного ответа следует разделять. Объединение их в один показатель скрыло бы реальный компромисс.

Ценообразование GLM 5.3 Flash было выгоднее у Telnyx

Опубликованные тарифы с оплатой по мере использования показали одинаковое соотношение для некэшированных входных, кэшированных входных и выходных токенов.

Применение этих опубликованных тарифов к токенам, зафиксированным в бенчмарке, дало оценочную стоимость нагрузки в $2,20 на Telnyx и $7,34 на Modal Shared, то есть на 70% меньше на Telnyx. Это оценки на основе токенов, а не сверенные счета, и они не включают объемные скидки.

Как мы проводили бенчмаркинг GLM 5.3 Flash

Мы использовали zai-org/GLM-5.3-Flash с параметром reasoning_effort: low у обоих провайдеров. Запросы передавались через API chat-completions, совместимые с OpenAI, из одной и той же среды тестирования.

Для каждого провайдера и нагрузки мы использовали варианты свежих промптов, идентичные настройки, параллелизм 1 и 10, а также три исключенных запроса для прогрева. Затем мы собрали 30 измеренных запросов в каждой ячейке нагрузки и параллелизма. Основное сравнение содержит 240 измеренных запросов на каждого провайдера, и оба провайдера завершили все 240 запросов с видимым контентом ответа.

Ошибки остаются частью необработанных данных бенчмарка и исключаются только из перцентилей задержки. В этом основном сравнении не было запросов с ошибками или отсутствием ответа, которые нужно было бы исключить.

О чем этот бенчмарк не заявляет

Он измеряет GLM 5.3 Flash при данных нагрузках и настройках, а не каждую модель или приложение.
Он сравнивает Modal Shared, а не Modal Dedicated или пользовательское развертывание Modal.
Он не тестирует параллелизм 50 или 100. Протестированный эндпоинт Modal Shared имел лимит параллелизма 16. В документации Modal указано, что избыточные запросы возвращают HTTP 429. Тестирование выше этого лимита измеряло бы политику доступа, а не производительность обслуживания.
Он не делает заявлений о производительности кэша промптов. Ни один API не предоставил доказательств использования кэшированных токенов в условиях общего префикса.
Наблюдаемая задержка включает сетевой путь от общей среды бенчмарка до каждого провайдера.
Каждая ячейка графика содержит 30 запросов. Показатель p95 — это интерполированный перцентиль на основе этих наблюдений, а не SLA.
Совпадающие идентификаторы моделей не доказывают идентичность точности, пакетной обработки или конфигурации обслуживания на стороне провайдера.

Что следует учесть разработчикам

Один и тот же рекламируемый идентификатор модели не привел к взаимозаменяемому поведению приложений. В этом сравнении Telnyx оказался сильнее по задержке завершенного ответа, скорости генерации вывода и опубликованным ценам на токены. Modal Shared оказался сильнее по задержке p95 до первого видимого ответа в большинстве ячеек.

Для агентов кодирования, конвейеров документов и других рабочих процессов, которые ожидают полного результата, результаты Telnyx по E2E и скорости вывода являются более важными сигналами. Для чат-интерфейсов, которые оптимизируются под первые видимые слова, распределение TTFA заслуживает равного внимания. Разработчикам, создающим агентов для контакт-центров, следует измерять оба показателя, поскольку каждый ход должен начинаться быстро и заканчиваться до начала следующего действия.

Самый полезный тест — это ваш собственный. Запускайте репрезентативные промпты через Telnyx Inference, сохраняйте неудачные попытки и отдельно отслеживайте время до первого действия, время до появления первого ответа, время завершения ответа и скорость вывода. Команды, которым нужен ограниченный доступ и контроль расходов, могут добавить AI Gateway, не меняя базовый вызов модели.

Протестируйте GLM 5.3 Flash с помощью собственных промптов

Запускайте репрезентативные промпты через Telnyx Inference и отдельно отслеживайте время до первого действия, время до появления первого ответа, время завершения ответа и скорость вывода.

Начать тестирование