Используйте любую* LLM с @mux/ai

*Почти любую.

Еще в мае Джошуа из нашей команды Community Engineering создал форк @mux/ai, чтобы дообучить собственную модель видеоаналитики. Он добавил Ollama, чтобы экспериментировать локально без оплаты токенов, подключил Baseten для обучения и хостинга LoRA-адаптера для Mistral Small 3.1, а затем интегрировал результат в рабочие процессы @mux/ai. Это отличная статья, но для реализации ему потребовался форк SDK.

Когда мы запустили @mux/ai в декабре прошлого года, мы создали его как инструментарий BYO-LLM (Bring Your Own LLM), чтобы вы сами контролировали, какие провайдеры получают доступ к вашему контенту. Но «приносите свою модель» до сих пор означало использование стороннего хостинг-провайдера: в основном OpenAI, Anthropic или Google. Если вы используете собственную инфраструктуру для инференса или ваши политики безопасности определяют, где может обрабатываться ваше видео, этот список, вероятно, был вам малополезен, и мы хотели, чтобы @mux/ai стал вариантом и для вас.

Почему мы расширяем поддержку LLM именно сейчас? Все просто: модели с открытыми весами значительно улучшились, особенно мультимодальные. Развертывание также стало намного проще: такие провайдеры, как Baseten, предоставляют доступ к открытым моделям через эндпоинт, совместимый с OpenAI, а если вы предпочитаете self-hosting, то vLLM и аналогичные решения используют тот же протокол, совместимый с OpenAI.

Пару недель назад мы добавили в @mux/ai поддержку обоих вариантов (#205): полноценный провайдер Baseten и провайдер общего назначения, совместимый с OpenAI, который работает с любым эндпоинтом, поддерживающим протокол OpenAI. Оба они построены на базе пакета @ai-sdk/openai-compatible из AI SDK.

Ссылка: Используйте свой собственный эндпоинт

Конфигурация одинакова для всех провайдеров: URL, ключ и модель. Вот пример для провайдера общего назначения, направленного на локальный Ollama:

Конфигурация для использования qwen3 с @mux

/ai

После этого рабочие процессы просто работают, точно так же, как и с хостинг-провайдерами:

Использование совместимого с openai провайдера в @mux

/ai

Или выполнение моего любимого запроса из конвейера модерации stream.new с использованием Kimi K3 через Model APIs от Baseten:

Использование baseten в @mux

/ai

Одно отличие от хостинг-провайдеров: здесь нет модели по умолчанию. Мы не можем знать, что именно вы развернули в своей инфраструктуре, поэтому вы всегда должны указывать модель самостоятельно — в коде или через переменные BASETEN_MODEL / OPENAI_COMPATIBLE_MODEL.

Ссылка: Зачем два провайдера?

Изначально планировался только Baseten. Форк Джошуа доказал, что интеграция работает (и что с ее помощью легко создать что-то действительно ценное), Model APIs от Baseten предоставляют каталог открытых моделей через один эндпоинт, а их выделенные развертывания — отличное место для дообученной модели.

В процессе работы мы поняли, что на самом деле создаем не просто интеграцию с Baseten. Эндпоинты Baseten используют протокол OpenAI, как и почти все остальное в этой сфере: vLLM, SGLang, Ollama, Together AI, Fireworks, OpenRouter и любой шлюз, который ваша команда развернула в прошлом квартале. Создание решения непосредственно на базе протокола, совместимого с OpenAI, означало, что одна интеграция покроет всё, поэтому мы выпустили ее как отдельного провайдера, оставив Baseten в качестве предустановки поверх него. Предустановка Baseten знает структуру URL Baseten и проверяет их, поэтому неправильно настроенное развертывание сразу выдаст полезную ошибку.

Ссылка: Насчет той самой звездочки…

Вот мелкий шрифт: рабочие процессы @mux/ai требуют от модели большего, чем обычное чат-приложение.

Во-первых, четыре рабочих процесса, которые анализируют кадры видео или раскадровки (getSummaryAndTags, askQuestions, hasBurnedInCaptions и generateEngagementInsights), требуют модель с поддержкой зрения (vision-capable). По умолчанию мы передаем модели URL раскадровки, и эндпоинт загружает ее на стороне сервера; если ваш эндпоинт не может загружать удаленные URL, переданные через параметр image_url (например, Ollama исторически не умеет), установите imageSubmissionMode: "base64", и мы встроим изображение напрямую, что откроет доступ ко многим другим моделям.

Во-вторых, все процессы запрашивают структурированный вывод через response_format: json_schema. Именно так рабочие процессы возвращают типизированные результаты, которые вы можете использовать, и эндпоинты без поддержки json_schema будут выдавать ошибку, а не нечитаемый вывод.

Текстовые рабочие процессы (generateChapters, translateCaptions, editCaptions) гораздо менее требовательны: подойдет почти любая модель со структурированным выводом и достаточно большим контекстным окном, включая текстовые модели с открытыми весами, такие как DeepSeek V4 или gpt-oss.

Чтобы избавить вас от метода проб и ошибок, мы опубликовали заметки о том, какие модели мы проверили и какие должны работать. Kimi K3, оба варианта Inkling и пара моделей Kimi K2 проверены в работе с @mux/ai через Model APIs от Baseten (по состоянию на август 2026 года). Семейство Mistral, Qwen3-VL, Llama 4 и ряд других заявлены вендорами как поддерживающие зрение, но мы не проверяли их лично, поэтому мы предоставляем скрипт, который проверяет оба требования на работающем эндпоинте, прежде чем вы доверите ему свой конвейер:

Запуск проверки моделей

Мы также не можем проводить оценку (eval) вашей модели за вас. Каждый хостинг-провайдер в @mux/ai поставляется с результатами оценки, чтобы вы знали, какое качество получаете; ваша дообученная модель Mistral на вашем собственном GPU для нас невидима, поэтому такие провайдеры исключены из запусков оценки, а расчет стоимости возвращает ноль (мы не знаем ваш счет за GPU и не знаем, насколько быстр ваш GPU для расчета задержки, и не собираемся гадать). Скрипт проверки сообщает вам, может ли модель выполнять рабочие процессы; насколько хорошо она их выполняет — это вопрос между вами и вашими тестами.

В ходе нашего тестирования мы обнаружили, что открытые модели имеют некоторые особенности надежности, которых мы не видели у закрытых моделей. Мы столкнулись с этим в Inkling: примерно один из двенадцати запросов приводил к выводу, обрезанному на лимите токенов, что затем вызывало ошибку валидации схемы, даже при запрошенном json_schema и исправном эндпоинте. Сбой не детерминирован: повторная попытка того же запроса почти всегда успешна, поэтому withRetry (который уже оборачивает каждый вызов модели в рабочем процессе) теперь считает ответ без вывода как подлежащий повтору. Отказы по политике контента никогда не повторяются, по очевидным причинам.

Ссылка: И наконец, дообучение

Если вы хотите пойти дальше, статья Джошуа подробно описывает дообучение вашей собственной модели для этих рабочих процессов: LoRA-тюнинг Mistral Small 3.1 на синтетических данных рабочих процессов @mux/ai с помощью SDK для обучения Baseten, а затем хостинг на выделенном развертывании. Когда он писал это, требовался форк; теперь его развертывание подключается напрямую к провайдеру baseten. В его сравнении дообученная модель выдавала более лаконичные и точные резюме, чем стандартный вывод LLM. Прочитайте это. Это интересно!

Ссылка: Попробуйте сами

@mux/ai полностью открыт под лицензией Apache 2.0, если вы забыли. Эта функция началась как форк Джошуа, и мы будем рады, если следующая начнется как ваш:

Установка @mux

/ai

Документация провайдера охватывает настройку для обоих новых провайдеров, а VISION-MODELS.md — это место, которое стоит проверить перед выбором модели. Если вы заставите работать модель, которую мы не проверяли, не стесняйтесь присылать нам pull request. И, как всегда, мы ждем ваших отзывов и хотим увидеть, что вы создадите.