Август принес поддержку новых моделей, ускоренный вызов функций и значительные улучшения в Modal Sandboxes. Вот основные моменты.
🤖 Поддержка с первого дня для Kimi K3, Qwen 3.8, GLM 5.3 и GLM 5.3 Flash
Изучите четыре передовые модели с открытыми весами, теперь поддерживаемые в Modal Auto Endpoints.
Все четыре модели поддерживаются как общие конечные точки (Shared Endpoints) с тарификацией на основе токенов или как выделенные конечные точки (Dedicated Endpoints) с оплатой за секунду работы GPU.
- Kimi K3: мультимодальная модель Moonshot с 2,8 трлн параметров, встроенной поддержкой зрения и контекстным окном в 1 млн токенов. Мы сотрудничали с Moonshot и vLLM для обеспечения поддержки с первого дня, а специальный спекулятор DFlash обеспечивает 460 токенов в секунду при выполнении агентских задач.
- Qwen3.8-2.4T-A95B: текстовая модель Qwen с 2,4 трлн параметров, использующая архитектуру Mixture-of-Experts, активирует 95 млрд параметров на токен и предназначена для программирования, исследований и долгосрочных агентских задач. Мы обеспечили поддержку с первого дня с помощью SGLang и специального спекулятора DFlash.
- GLM-5.3: модель Z.ai с 753 млрд параметров, использующая архитектуру Mixture-of-Experts, активирует 40 млрд параметров на токен и поддерживает контекстное окно в 1 млн токенов. Она создана для сложного программирования и долгосрочных агентских задач.
- GLM-5.3-Flash: мультимодальная модель с 320 млрд параметров, использующая архитектуру Mixture-of-Experts, активирует 18 млрд параметров на токен и поддерживает контекстное окно в 1 млн токенов, привнося визуальное понимание в программирование и агентские рабочие процессы.
Создать выделенную конечную точку или использовать общую конечную точку →
💸 Улучшение контроля расходов
Два обновления для лучшего контроля использования:
- Бюджеты на уровне окружения теперь доступны для всех рабочих пространств Team и Enterprise. Владельцы и менеджеры могут устанавливать бюджет на использование вычислительных ресурсов для каждого окружения и отслеживать текущее потребление — это полезно для предоставления командам собственных ограничений без разделения рабочих пространств. Читайте документацию.
- Интерфейс лимитов использования был обновлен. Пороговая тарификация и лимиты использования теперь представлены с использованием единообразной терминологии и наглядных цифр, поэтому стало понятнее, каковы ваши лимиты и как их настроить.
🌎 Снижение цен для выбора широкого региона
Ценовой множитель для выбора широкого региона снизился с 1,5x до 1,15x. Широкие регионы, включая США, ЕС и Азиатско-Тихоокеанский регион, позволяют держать рабочие нагрузки ближе к пользователям или данным, сохраняя при этом больший пул емкости для лучшей доступности и более быстрого планирования.
Прочитайте наше руководство по выбору региона →
🔒 Приватные окружения с ролями по умолчанию
Теперь вы можете установить роль по умолчанию для ограниченного окружения. Установите значение «Нет доступа» и явно предоставьте доступ «Просмотр» или «Участие» тем участникам, которым это необходимо; все остальные не смогут обнаружить окружение или получить к нему доступ. Владельцы и менеджеры рабочих пространств сохраняют доступ «Участие». Это фактически дает вам приватные окружения для конфиденциальных проектов внутри общего рабочего пространства.
Читать документацию →
🌓 Обновленная панель управления
Мы обновили панель управления, улучшив навигацию, внедрив новую цветовую систему для визуализаций и добавив возможность выбора светлой темы оформления. Светлая тема доступна в бета-версии для всех пользователей, а остальные изменения будут внедряться постепенно в ближайшие дни.
🧩 Sandbox Sidecars выходят в публичную альфа-версию
Sandbox Sidecars теперь находятся в публичной альфа-версии. Sidecars запускают дополнительные контейнеры рядом с основным Sandbox на том же хосте, соединенные через внутреннюю сеть с низкой задержкой. Они полезны для пользовательских сетевых прокси, многоконтейнерных рабочих нагрузок и отделения агентской обвязки от выполнения инструментов.
Изучить Sandbox Sidecars →
📊 Улучшенная наблюдаемость для запросов CPU и памяти в Sandbox
Мы выпустили набор графиков, чтобы упростить указание запросов CPU и памяти для Sandbox, помогая вам избежать ошибок нехватки памяти (OOM) или конкуренции за CPU, не переплачивая за лишние ресурсы. Эти диаграммы показывают различные процентили потребления CPU и памяти в Sandbox для каждого из ваших приложений, поэтому вы можете соответствующим образом настроить размеры запросов.
Узнать больше.
🔲 VM Sandboxes теперь в публичной бета-версии
VM Sandboxes перешли в публичную бета-версию. Они запускают настоящее ядро Linux, поэтому могут поддерживать рабочие нагрузки, которые запускают Docker-контейнеры внутри Sandbox или требуют функций Linux, таких как eBPF, systemd, cgroups или пользовательские монтирования файловой системы. Это также обычно приводит к повышению производительности файловой системы для задач, чувствительных к операциям ввода-вывода.
Ознакомьтесь с нашей документацией, чтобы начать.
📦 Теперь общедоступно (GA): снимки директорий Sandbox и новый API файловой системы Sandbox
Снимки директорий Sandbox позволяют делать снимки выбранных директорий вместо всей файловой системы контейнера. Вы можете использовать их для обновления системных зависимостей отдельно от кода приложения, ускорения возобновления предыдущих сессий и восстановления состояния приложения в «теплом» пуле Sandbox. Читайте документацию для получения дополнительной информации.
Кроме того, наш новый API файловой системы Sandbox теперь общедоступен. Новый API файловой системы обеспечивает повышенную надежность и лучшую производительность для небольших файлов. Узнать больше.
🌐 Региональные прокси
Теперь вы можете выбрать регион при создании прокси Modal в настройках рабочего пространства. Прокси предоставляют статические исходящие IP-адреса для функций и Sandbox, позволяя подключаться к ресурсам, защищенным списками разрешенных IP-адресов. Размещение прокси ближе к этим ресурсам дает вам больше контроля над маршрутизацией трафика и может снизить сетевую задержку.
Читать документацию →
💻 Обновления SDK
Мы выпустили версию 1.5.5 Python SDK и версию 0.10.0 JavaScript и Go SDK. Обновления в этих выпусках включают новые API журналов, более быструю запись в файловую систему Sandbox в JS и Go, а также улучшенную отчетность о конфигурации автоскейлера.
Читать журналы изменений: Python · JavaScript · Go
📚 Еще от Modal
📈 Масштабирование до 1 миллиона одновременных Sandbox за секунды
Мы перестроили нашу систему планирования для поддержки миллионов одновременных Sandbox и десятков тысяч созданий в секунду. В ходе тестирования мы запустили один миллион Sandbox менее чем за минуту, сохранив медианное время до интерактивности менее полусекунды.
Читать блог →
⚡ Приближение серверных функций к скорости передачи по проводам
Мы перестроили путь ввода-вывода функций вокруг более быстрого, географически распределенного уровня маршрутизации, перенеся некритичную работу с основного пути и минимизировав доступ к общему хранилищу. Результатом стало снижение задержки p50 примерно на 80 мс с возможностью дополнительной экономии.
Читать блог →
🌓 Kimi K3 от Moonshot доступна в Modal
Мы сотрудничали с Moonshot и vLLM, чтобы обеспечить поддержку Kimi K3 в Modal с первого дня, объединив мультимодальную модель с 2,8 трлн параметров со специально обученным спекулятором DFlash. При выполнении агентских задач наш спекулятор увеличивает интерактивность со 100 до 460 токенов в секунду, а пропускную способность на GPU — с 800 000 до 1,5 миллиона токенов в минуту.
Читать блог →
📸 Как Botika запускает полностековый генеративный ИИ на Modal
Modal поддерживает весь стек ИИ Botika, от обработки набора изображений объемом 100 терабайт до обучения базовых моделей и обслуживания около 15 моделей в продакшене. С Modal инфраструктура компании может поглотить двух-трехкратное увеличение трафика за секунды без ручного вмешательства.
Читать блог →
🤖 Запуск Devin Outposts и Cursor Cloud Agents на Modal
Теперь вы можете запускать рабочие процессы Devin Outposts и Cursor Cloud Agent внутри настраиваемых Modal Sandboxes. Используйте собственные образы, зависимости, секреты и ресурсы CPU или GPU, пока мы берем на себя обеспечение изолированных сред, быстрого запуска и эластичной емкости для каждой сессии.
Подробнее о Devin Outposts →
Запуск Cursor Cloud Agents →
⚡ Runtime: конференция от Modal
Присоединяйтесь к нам 1 октября в The Midway в Сан-Франциско на Runtime, нашей конференции для инженеров, использующих ИИ в продакшене. Вас ждут три потока, посвященные инференсу, обучению и агентам, с глубокими техническими разборами и выступлениями таких спикеров, как Скотт Ву (Cognition), Брайан Катанзаро (NVIDIA) и Кэт Ву (Anthropic).
Ознакомьтесь с программой и подайте заявку на участие →
📍Предстоящие мероприятия
- 15 сентября — Modal Rooftop Happy Hour: GTM Edition в Нью-Йорке
- 19 сентября — {Tech: Europe} Agentic AI Hack в Лондоне
- 21 сентября — Modal x Pydantic: How We Build Dev Tools for You and Your Agents в Лондоне
- 22 сентября — Computational Biology Hackathon with Anthropic, Modal, and Flagship Pioneering в Кембридже, штат Массачусетс
- 22 сентября — AI Engineer Warmup with H Company, Modal, and Black Forest Labs в Париже
- 25 сентября — Инженерия инференса с Чарльзом Фраем из Modal
- 1 октября — Runtime от Modal в Сан-Франциско
- 13 октября — Вечер разработчиков ИИ в Сан-Франциско
Смотрите все предстоящие мероприятия в календаре Modal.
