Если вашему агенту нужно читать документы, интерпретировать экраны приложений или анализировать видео, NVIDIA Nemotron 3.5 Super VL объединяет в одной модели визуальное понимание, рассуждение и использование инструментов.
Что Super VL дает вашему приложению:
- Встроенное визуальное понимание: чтение документов, изображений, экранов приложений и видео, включая информацию, которая теряется при извлечении только текста.
Встроенное визуальное понимание: чтение документов, изображений, экранов приложений и видео, включая информацию, которая теряется при извлечении только текста.
- Рассуждение и использование инструментов: использование визуального контекста для принятия решений о дальнейших действиях и генерации вызовов инструментов, которые ваше приложение может выполнить.
Рассуждение и использование инструментов: использование визуального контекста для принятия решений о дальнейших действиях и генерации вызовов инструментов, которые ваше приложение может выполнить.
- Настройка и контроль: адаптация открытой модели к вашим данным и рабочим процессам с помощью SDK Baseten Loops.
Настройка и контроль: адаптация открытой модели к вашим данным и рабочим процессам с помощью SDK Baseten Loops.
Эти функции делают Nemotron 3.5 Super VL идеальным решением для обслуживания клиентов, интеллектуальной обработки документов, повышения производительности в предприятиях и веб-исследований.
Придание визуальных возможностей семье открытых моделей Nemotron
Nemotron 3.5 Super VL основан на архитектуре Nemotron 3 Super и использует модель Mixture-of-Experts с 120 миллиардами параметров, из которых 12 миллиардов активируются на каждый токен.
Его гибридная архитектура Mamba-Transformer поддерживает обработку длинного контекста, а многотокенная предсказательная модель (MTP) ускоряет процесс генерации. Квантизация кэша NVFP4 KV позволяет снизить требования к памяти при инференсе длинного контекста.
Добавление визуального кодировщика позволяет модели работать как с визуальными данными, так и с текстом. Это означает, что агент может изучить макет документа, интерпретировать скриншот или проанализировать видеоклип, а затем использовать полученную информацию для принятия решения о следующем шаге.
На Baseten разработчики могут оценить Super VL с использованием весов NVFP4 на GPU NVIDIA Blackwell, а также изучить возможности настройки с помощью Baseten Training.
Высокая производительность рассуждений в сочетании с мультимодальными возможностями
Добавление визуального ввода не означает снижения производительности текстового рассуждения. По результатам оценок NVIDIA, Nemotron 3.5 Super VL показывает лучшие результаты, чем Nemotron 3 Super, по трем текстовым бенчмаркам, показанным ниже, которые охватывают профессиональные задачи, научное кодирование и вопросы на уровне аспирантуры.
На GDPval Nemotron 3.5 Super VL получает рейтинг Elo 1190 по сравнению с 493 у Nemotron 3 Super. Он также показывает лучшие результаты на SciCode и GPQA-diamond, демонстрируя улучшенную производительность при решении научных задач рассуждения. Эти результаты полезны при выборе модели для приложений, которые сочетают визуальный ввод с рассуждением. Они показывают, что добавление визуального ввода не произошло за счет снижения производительности текстового рассуждения.
Адаптируйте Nemotron 3.5 Super VL к вашим уникальным данным уже в первый день
Обучение Nemotron 3.5 Super VL доступно уже сегодня, и вы можете начать обучение в Loops в тот же день. Loops — это управляемый продукт Baseten для контролируемого тонкого обучения и обучения с подкреплением. Ваш цикл обучения — это скрипт на Python, который вызывает SDK Loops. Baseten обеспечивает и управляет совместным использованием, распределенным обучением, параллелизмом и GPU-кластерами, поэтому вашей команде не нужно создавать инфраструктуру для обучения.
Super VL присоединяется к Nemotron 3 Super и Nemotron 3 Ultra в Loops. Команды, которые уже обучают эти модели, могут переключиться на базовые модели без изменения инструментов. После завершения обучения вы можете развернуть обученный чекпоинт на Baseten и обслуживать его с той же платформы, на которой вы проводили обучение.
Создавайте с Nemotron 3.5 Super VL на Baseten
Оцените Nemotron 3.5 Super VL на своих собственных изображениях, документах или скриншотах приложений с помощью Model API Baseten. Проверьте, насколько хорошо модель понимает ваши входные данные, насколько надежно она генерирует выходные данные, необходимые вашему приложению, и соответствует ли ее задержка вашему рабочему процессу.
Затем подключите ее к инструментам вашего приложения и изучите возможности настройки с помощью Baseten Loops, чтобы провести постобучение модели на ваших данных, инструментах и правилах.
