Манифест TypeSafe AI звучит необычно для лаборатории ИИ: «Создавайте продукт, а не бога». Их первая модель, Jev, обеспечивает быстрое принятие структурированных решений с передовым уровнем интеллекта. В течение недели после запуска спрос на Jev стал заоблачным.
Modal помогла TypeSafe обучить и развернуть новый класс передовых моделей, а затем масштабировать их до более чем одного триллиона токенов за три дня, выполнив требования по сверхнизкой задержке вывода без необходимости управлять собственной инфраструктурой.
Новый класс передовых моделей
Jev — это не большая языковая модель. Это модель «Системы 1» — то есть быстрого, интуитивного мышления. Jev достигает схожего уровня интеллекта в задачах «Системы 1» по сравнению с передовыми LLM, но фокусируется на принятии решений, а не на обобщенном интеллекте.
Чтобы воплотить Jev в жизнь, TypeSafe создала собственный стек, полностью ориентированный на автоматизацию: с новой архитектурой модели, параллельным сэмплером для максимальной эффективности и методом обучения, который они называют обучением с подкреплением для калиброванных решений (RLCD).
В отличие от LLM, Jev не является авторегрессионной и не генерирует текст. Вместо этого она принимает на вход состояние и вопросы, а на выходе выдает типизированные, структурированные значения с вероятностями. Например, возьмем тикет службы поддержки в качестве входных данных:
Пользователь определяет примитив выбора, который направляет Jev выбрать вариант из списка. Учитывая варианты «продажи», «техническая поддержка» или «биллинг», Jev возвращает результаты и вероятности:
Jev генерирует выходные данные не последовательно, а параллельно, создавая интеллектуальные ответы с низкой задержкой, подходящие для таких рабочих нагрузок, как крупномасштабная автоматизация, быстрое использование браузера и генеративные пользовательские интерфейсы.
Экспоненциальное масштабирование за выходные
Jev была публично запущена в четверг. Неделю спустя она возглавила таблицу лидеров на OpenRouter для контекстов от 1 тыс. до 10 тыс. токенов, обрабатывая 15,1% запросов. Это лишь часть спроса, обрабатываемого командой TypeSafe, который они теперь измеряют «триллионами» токенов.
Чтобы масштабировать свои системы, обслуживая Jev на пределе соотношения цены и производительности, команде TypeSafe требовался полный контроль над своим стеком — от сетевого взаимодействия и маршрутизации до автоматического масштабирования при непредсказуемой нагрузке. Самое главное, им нужен был этот контроль без головной боли, связанной с управлением собственной инфраструктурой.
В конце концов, инференс — это (очень) важная вещь, но это еще не все.
Разработка на Modal
Инфраструктура Modal уникально подходит для запуска таких моделей, как Jev: это рабочие нагрузки с резкими скачками и высокой степенью параллелизма, где важна каждая миллисекунда. Вместо того чтобы угадывать потребности в мощностях или переплачивать за резервирование вычислительных ресурсов, лаборатории ИИ могут использовать бессерверную платформу Modal для обучения, обслуживания и масштабирования любого типа моделей: LLM, моделей «Системы 1», моделей мира и других.
«Modal обработала 1 триллион токенов для Jev в течение трех дней после запуска. Их команда была проактивной и отзывчивой, пока мы масштабировались, чтобы удовлетворить беспрецедентный спрос, и мы могли сосредоточиться на выпуске продукта, а не на управлении инфраструктурой».
Запуск Jev — это один из примеров того, для чего была создана платформа Modal. Приносите любую модель, любой код обслуживания и масштабируйтесь до триллионов токенов в день.
