NVIDIA Nemotron 3.5 Embed, Rerank и Parse: Развитие агентов с помощью поисковых моделей мирового класса

Ответы агента зависят от данных, которые он может найти. Когда эти данные неполны или нерелевантны, агент будет повторять поиск и просматривать дополнительные документы, расходуя больше токенов вывода перед завершением задачи. Более качественный поиск помогает агентам находить обоснованные ответы с меньшими затратами токенов. В масштабах предприятия такие потери приводят к колоссальной неэффективности. Агентам нужны правильные поисковые модели и системы для более быстрого получения аналитических выводов.

Сегодня мы расширяем коллекцию Nemotron Retriever новыми открытыми коммерчески доступными моделями для векторизации (embedding), реранкинга и извлечения документов. В число новых моделей входят Nemotron 3.5 Embed 8B BF16, 1B BF16, 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 и Nemotron 3.5 Parse с 631 млн параметров.

В совокупности эти передовые модели привносят мультимодальный поиск, ранжирование релевантности и обработку документов в рабочие процессы корпоративных агентов.

Более качественный поиск для более эффективных агентов

Качество поиска влияет как на ответы, выдаваемые агентом, так и на стоимость инференса LLM. Релевантные данные могут помочь агенту ответить на вопрос или лучше определить свой следующий шаг, а реранкинг улучшает качество данных, попадающих в его контекст.

Рассмотрим агента, которому поручено выявить продукты с риском дефицита в следующем квартале и объяснить почему. Он должен объединить прогнозы спроса на графиках, уровни запасов в таблицах и сроки поставки от поставщиков в отчетах, а затем сделать вывод о том, прибудет ли пополнение до того, как запасы исчерпаются. Выполнение задачи требует поиска релевантных данных в различных документах и их совместного использования в анализе.

Чтобы понять, как поиск влияет на способность агента объединять данные и выполнять задачу, мы оценили Nemotron 3.5 Embed и Rerank на ViDoRe v3, BRIGHT и BrowseComp-Plus. В ВиДоРе (ViDoRe) v3 используются комбинированные текстовые и графические входные данные, в то время как в BRIGHT и BrowseComp-Plus используются только текстовые входы. В этом конвейере агент запрашивает корпус документов с помощью инструмента поиска, изучает данные и уточняет свою следующую попытку поиска, чтобы найти наиболее релевантную информацию для заданного запроса. В приведенных ниже экспериментах варьируется реализация инструмента поиска: только векторизация, векторизация плюс реранкинг, а также с использованием разных моделей для каждого этапа. Базовая LLM агента, инструменты, набор задач, корпус и политика выполнения остаются неизменными, в то время как конфигурация поиска меняется. Мы измеряем способность агента находить релевантную информацию для каждой задачи и общее количество токенов инференса агента на задачу, включая входные и выходные токены по всем шагам.

Рисунок 1. Успешность сквозного выполнения задач по сравнению с общим количеством токенов инференса агента на задачу для различных конфигураций поиска.

• Снижение затрат на инференс агента: Добавление Nemotron 3.5 Rerank снижает затраты токенов агента на запрос примерно на 14% с Nemotron 3.5 Embed 8B и на 13% с Nemotron 3.5 Embed 1B, одновременно улучшая точность поиска в обеих конфигурациях.
• Лучшие данные в рамках того же бюджета агента: При использовании Nemotron 3.5 Embed 8B в качестве поискового модуля модель Nemotron 3.5 Rerank обеспечила показатель nDCG@10 примерно на 0,9 пункта выше, чем Qwen3-VL-Reranker-8B, при сопоставимой стоимости токенов агента.

Nemotron 3.5 Embed и Rerank

За этими успехами агентов стоят Nemotron 3.5 Embed и Nemotron 3.5 Rerank, которые находят данные в текстах и изображениях и расставляют приоритеты для контекста агента. Nemotron 3.5 Embed опирается на текстовые модели векторизации Nemotron 3 Embed предыдущего поколения для извлечения данных из изображений документов, включая таблицы, графики, инфографику, технические описания и схемы. Это позволяет приложениям искать информацию, передаваемую визуальным контентом, наряду с текстом документов.

Четыре модели предоставляют различные варианты поиска и ранжирования второго этапа:

Таблица 1. Возможности и варианты использования моделей Nemotron 3.5 Embed и Nemotron 3.5 Rerank для различных размеров и модификаций.

Ключевые особенности включают:

• Поиск по тексту и изображениям: Поиск по тексту документов и изображениям, содержащим таблицы, графики, инфографику, технические описания и схемы.
• Многоязычная поддержка: Текстовый поиск оценивался на 34 языках, в то время как многоязычный визуальный поиск оценивался на MIRACL Vision (18 языков) и KoViDoRe. Модель может поддерживать и другие языки помимо протестированных.
• Мультимодальный реранкинг: Кросс-энкодер размером 8B оценивает пары «запрос-документ» по текстовым и визуальным входным данным.
• Развертывание в форматах BF16 и NVFP4: Модель векторизации размером 1B доступна в форматах BF16 и NVFP4, причем квантование применено как к текстовым, так и к визуальным энкодерам.
• Адаптация к домену: Рецепты тонкой настройки векторизации Nemotron поддерживают пользовательские коллекции документов, обеспечивая относительный прирост nDCG@10 на 18% и 3% для Nemotron-3.5-Embed-1B-BF16 и Nemotron-3.5-Embed-8B-BF16 соответственно в наших экспериментах с графиками и инфографикой.

Лидирующий плотный мультимодальный поиск на ViDoRe v3

На ViDoRe v3.1 Nemotron 3.5 Embed 8B BF16 достигает показателя 61,17 nDCG@10, занимая первое место среди моделей плотного поиска. Это на 8,94 пункта выше результата 52,23, достигнутого моделью Llama Nemotron Embed VL 1B. Модель размером 1B переносит большую часть этого качества визуального поиска в модель меньшего размера. Дистиллированная из учителя размером 8B, Nemotron 3.5 Embed 1B BF16 набирает 58,38 nDCG@10, сохраняя 95,4% результата учительской модели.

Рисунок 2. Nemotron 3.5 Embed 8B BF16 заняла первое место среди моделей плотного поиска в таблице лидеров ViDoRe v3.1 по состоянию на 10.10.2026.

Мы также сравниваем модели с Qwen3-VL-Embedding, EmbeddingGemma-2 и моделью NVIDIA предыдущего поколения на , корейском ViDoRe и MIRACL Vision. На диаграмме ниже представлена точность поиска для вариантов с только изображениями, а также с комбинированными изображениями и текстом.

Рисунок 3. Производительность текстового и визуального поиска Nemotron 3.5 Embed по сравнению с моделями предыдущего поколения и выбранными базовыми моделями.

Многоязычные результаты показывают, как модели извлекают данные в различных языковых средах. На MIRACL Vision модель размером 8B достигает 72,6 nDCG@10, превосходя Qwen3-VL-Embedding-8B на 4,3 пункта. Мы также оцениваем модели на ; и Nemotron 3.5 Embed 8B, и 1B превосходят базовые модели Qwen при использовании комбинированных визуальных и текстовых входных данных.

Реранкинг данных для задач агента

Модели векторизации делают большие коллекции доступными для поиска, представляя контент в виде векторов. После того как поиск возвращает набор кандидатов, Nemotron 3.5 Rerank 8B BF16 оценивает каждого кандидата относительно запроса, чтобы уточнить порядок следования для текстовых и визуальных входных данных. Отделяя в целом релевантный контент от данных, которые напрямую отвечают на вопрос, реранкер помогает агентам более эффективно использовать свой бюджет контекста и сосредоточиться на информации, необходимой для выполнения задачи. Для поисковых систем на базе агентов вывод наиболее релевантных данных на более ранние позиции может уменьшить количество отвлекающего контекста и помочь агентам выдавать более обоснованные и эффективные ответы.

В сотрудничестве с командой MTEB мы запускаем ViDoRe v3.1 reranking leaderboard, чтобы оценить реранкеры на задачах поиска документов по входным данным, состоящим только из изображений, только из текста, а также по их комбинации. Nemotron 3.5 Rerank 8B BF16 достигает 60,49 nDCG@10 при использовании комбинированных визуальных и текстовых входных данных по сравнению с 59,17 у Qwen-3-VL-Reranker-8B.

Рисунок 4. Nemotron-3.5-Rerank-8B-BF16 заняла первое место в таблице лидеров ранжирования ViDoRe v3.1 по состоянию на 20.10.2026.

Рисунок 5. Производительность текстового и визуального реранкера Nemotron 3.5 Rerank 8B по сравнению с Qwen 3 VL Reranker 8B. Обе модели выполнили реранжирование топ-50 кандидатов, извлеченных моделью Nemotron 3.5 Embed 1B.

Масштабирование мультимодального поиска с помощью NVFP4

Качество поиска — это лишь часть уравнения для производственных систем на базе агентов. По мере роста коллекций документов и объемов запросов командам приходится находить баланс между точностью, пропускной способностью и требованиями к инфраструктуре.

Nemotron 3.5 Embed 1B NVFP4 представляет собой оптимизированный вариант развертывания для высокопроизводительного мультимодального поиска. На NVIDIA GB200 она обеспечивает на 27,1% более высокую пропускную способность по сравнению с моделью 1B BF16, увеличивая показатель со 101,3 до 128,8 документов в секунду при сохранении 99,85% точности поиска на ViDoRe v3 с комбинированными входными данными из изображений и текста. Как показано на рисунке 6, модель NVFP4 предлагает отличный баланс между точностью и пропускной способностью для команд, масштабирующих поиск в производственных рабочих нагрузках.

Эта гибкость развертывания дополняет доменную кастомизацию: команды могут выбрать тип данных весов модели, соответствующий их инфраструктуре, а затем адаптировать модели эмбеддингов и реранкинга под собственную терминологию, документы и поисковые задачи.

Рисунок 6. Точность поиска ViDoRe V3 в сравнении с эффективностью обслуживания, сравнивающая Nemotron 3.5 Embed с выбранными открытыми базовыми моделями меньшего размера.

Высокопроизводительное обслуживание с помощью NVIDIA NIM

NVIDIA NIM предоставляет высокопроизводительный путь развертывания для Nemotron 3.5 Embed. При тестировании на сервере NVIDIA RTX PRO 6000 Blackwell Server Edition NIM обеспечила 6031 поисковый запрос в секунду — примерно в 2,9 раза выше пропускной способности сопоставимой конфигурации vLLM, составляющей 2099 запросов в секунду — при сохранении сопоставимой пропускной способности обработки фрагментов. Этот оптимизированный стек обслуживания помогает предприятиям масштабировать поисковые рабочие нагрузки благодаря развертыванию и поддержке, готовым к производственному использованию.

Рисунок 7. Производительность обслуживания Nemotron 3.5 Embed NIM по сравнению с контрольной точкой vLLM на графических процессорах NVIDIA RTX PRO 6000 Blackwell Server Edition.

Адаптация поиска под задачи конкретного домена

Корпоративные агенты часто ищут документы, содержащие специализированную терминологию и специфичную для компании информацию, которую модели общего назначения могут учитывать не полностью. Тонкая настройка (файн-тюнинг) позволяет командам адаптировать Nemotron 3.5 Embed и Rerank, используя собственные документы, запросы и метки релевантности для своих конкретных доменов и сценариев использования.

Рецепт тонкой настройки мультимодальных эмбеддингов Nemotron объединяет генерацию синтетических данных, майнинг сложных негативов, тонкую настройку с помощью NVIDIA NeMo AutoModel и оценку в рамках единого рабочего процесса. Команды могут создавать запросы и метки релевантности на основе собственных документов для формирования обучающих данных под свои поисковые задачи.

Мы оценили рецепт на 8202 изображениях графиков и инфографики, используя 8591 синтетический запрос, сгенерированный с помощью Qwen3.8-Flash-Next, сосредоточившись на перечислительных и открытых запросах с несколькими релевантными изображениями. Тонкая настройка Nemotron-3.5-Embed-1B-BF16 на 6872 запросах в течение одной эпохи увеличила nDCG@10 с 37,34 до 44,12, что составляет относительный прирост на 18% по сравнению с базовой моделью на 1719 отложенных синтетических запросах. Используя тот же набор синтетических запросов, тонкая настройка Nemotron-3.5-Embed-8B-BF16 за эпоху увеличила nDCG@10 с 41,44 до 42,75, что дает относительный прирост на 3%.

Как мы создавали модели Embed и Rerank

Nemotron 3.5 Embed 8B создана на базе Ministral-3-8B-Instruct, а ее языковой компонент инициализирован из Nemotron-3-Embed-8B-BF16. Модель обучается на корпусах изображений и текста с использованием контрастивного обучения для получения представлений для мультимодального поиска.

Модели Embed 1B дистиллированы из Nemotron 3.5 Embed 8B, а их языковой компонент инициализирован из Nemotron-3-Embed-1B-BF16. Дистилляция сочетает в себе функции потерь косинусного расстояния и среднеквадратичной ошибки (MSE) для выравнивания эмбеддингов студента с эмбеддингами учителя.

Языковой компонент остается замороженным на протяжении всего обучения модели эмбеддингов. Ожидается, что текстовые эмбеддинги останутся неизменными по сравнению с соответствующими моделями Nemotron 3 Embed, что позволяет повторно использовать существующие текстовые эмбеддинги и векторные индексы.

Nemotron 3.5 Rerank использует ту же архитектуру основы, что и Nemotron-3.5-Embed-8B, в конфигурации кросс-энкодера. В то время как модель эмбеддингов кодирует запросы и документы отдельно и оценивает их сходство, реранкер совместно кодирует каждую пару «запрос-документ». Финальная голова оценки на основе многослойного перцептрона (MLP) выдает скалярный логит релевантности.

Все модели обучены на смеси общедоступных и синтетических многоязычных, мультимодальных данных, а их финальные выпущенные веса получены путем ансамблирования контрольных точек. Более подробную информацию об обучающих данных можно найти в карточке каждой модели на Hugging Face.

Nemotron 3.5 Parse

Корпоративные знания часто поступают в формате PDF, в которых внедренный текст отражает лишь часть содержимого страницы. Извлечение этого текста может нарушить порядок чтения, отделить значения таблиц от их заголовков или упустить информацию, переданную в диаграммах. Отсканированные документы и PDF-файлы на основе изображений могут вообще не содержать пригодного для использования текстового слоя. Прежде чем эта информация сможет поддерживать поиск или автоматизированные рабочие процессы с документами, пиксели должны превратиться в структурированный контент.

Nemotron 3.5 Parse преобразует изображения документов в машиночитаемый текст, сохраняя при этом структуру, которая придает контенту смысл. Она определяет элементы документов, их расположение и порядок чтения, а также извлекает таблицы и диаграммы в структурированные представления. Полученные разметка Markdown, таблицы HTML и структурированные блоки предоставляют разработчикам контент, который лучше подходит для индексации, поиска и последующей обработки. Приложения могут извлекать фрагмент вместе с окружающим контекстом, обрабатывать таблицу по строкам и столбцам, а также связывать извлеченные данные с их местоположением на исходной странице.

Обладая 631 миллионом параметров, Nemotron 3.5 Parse переносит эту возможность в конвейеры документов в масштабе, дополняя Nemotron 3.5 Embed и Rerank структурированной информацией для поиска и рабочих процессов агентов.

Лидирующая точность и более быстрая обработка документов

Рисунок 8. Nemotron 3.5 Parse заняла первое место в таблице лидеров ParseBench среди моделей с числом параметров менее 1 миллиарда по состоянию на 20.10.2026.

Nemotron 3.5 Parse занимает 1-е место в рейтинге ParseBench среди моделей с числом параметров менее 1 миллиарда, достигнув оценки 75,20 при обработке 10,5 страниц в секунду на одном NVIDIA H100. Она обеспечивает лучшую в своем классе скорость благодаря хорошо оптимизированному распределению параметров, прогнозированию нескольких токенов, спекулятивному декодированию и гибкой обработке нативных разрешений. ParseBench проверяет извлечение таблиц и диаграмм, достоверность контента, семантическое форматирование и визуальную привязку.

Разработчики могут настраивать производительность модели в сторону скорости или точности, используя одну и ту же модель. Однопроходный вывод извлекает каждую страницу за один раз для достижения максимальной пропускной способности. Двухпроходный вывод повторно обращается к таблицам и диаграммам, выявленным при первичном разборе страницы. Трехпроходный вывод добавляет проход обнаружения для поиска дополнительных областей с целью их уточнения. Такой подход концентрирует дополнительную обработку на тех участках документа, которые требуют более детального изучения.

Таблица 2. Точность модели масштабируется за счет дополнительных проходов модели при небольшом снижении пропускной способности. Повторная обработка сфокусированных фрагментов таблиц и диаграмм приводит к повышению точности.

Все три конфигурации являются оптимальными по Парето в рамках данного сравнения: ни одна другая сравниваемая конфигурация не обеспечивает одновременно более высокую точность и более высокую пропускную способность. Команды могут выбрать рабочий режим, соответствующий их нагрузке — от быстрого приема крупных коллекций документов до более детального извлечения данных из сложных страниц.

Рисунок 9. Nemotron Parse 3.5 достигает оптимальной по Парето производительности в таблице лидеров ParseBench.

Как мы создали Nemotron 3.5 Parse

Nemotron 3.5 Parse обучена на разнообразной смеси корпоративных документов, научных статей, форм, таблиц, диаграмм и многоязычного текста. Мощный механизм синтетических данных расширяет диапазон макетов, структур и языков, с которыми работает модель, дополняя автоматически размеченные документы и данные, размеченные людьми. Синтетические многоязычные данные помогают сформировать широкие возможности распознавания текста (OCR) с отличными результатами в тестах, охватывающих 163 комбинации языков и письменностей. Такое разнообразие подготавливает модель к работе с разнообразным контентом, встречающимся в корпоративных хранилищах документов. Карточка модели и многоязычное покрытие.

Мы дополнительно повышаем надежность и устойчивость с помощью оптимизации групповой относительной политики (GRPO), используя настраиваемые функции вознаграждения для подкрепления правильной структуры документа и штрафования за ошибки. Такое пост-обучение сокращает циклы повторной генерации и незакрытые блоки, улучшает согласованность таблиц и повышает соответствие схемам диаграмм, делая извлеченную информацию более надежной для последующих рабочих процессов с документами.

Спасибо компании LightOn за повышение планки открытого исходного кода благодаря их моделям и техническому блогу. Общие методы сыграли ключевую роль в улучшении нашей модели.

Ранние оценки корпоративных партнеров

• Клиенты Elastic могут получить доступ к моделям встраивания и переранжирования NVIDIA Nemotron Retriever через API вывода Elasticsearch с использованием конечных точек вывода NVIDIA. Nemotron 3 скоро станет доступна через службу вывода Elastic Inference Service (EIS), а поддержка развертывания моделей Nemotron локально (on-prem) находится в дорожной карте.
• Vectorize оценила NVIDIA Nemotron 3.5 Embed using Hindsight Agent Memory, и она заняла первое место в двух тестах памяти для долгих диалогов: достигнув 93,8% recall@10 на LoCoMo и 65,9% на BEAM 100K по сравнению с семью другими моделями встраивания. Она также продемонстрировала самые высокие показатели MRR и recall@5, подчеркнув свою способность извлекать релевантные воспоминания из длинных и сложных историй диалогов.
• Perplexity получила отличные результаты от NVIDIA Nemotron 3.5 Embed в тесте Q2D-Web. В своей последней оценке NVIDIA Nemotron 3.5 Rerank 8B набрала самый высокий средний балл в закрытом тесте переранжирования по 72 задачам, показав сильные результаты во всех шести доменах. Эти результаты подчеркивают ценность специализированных моделей извлечения наряду с универсальными моделями принятия решений, такими как семейство Perplexity Decider.
• Turbopuffer оценила NVIDIA Nemotron 3.5 Embed 8B в тесте корпоративного поиска по PDF и обнаружила, что она обеспечивает примерно на 5% больше релевантных результатов по метрике Recall@20 по сравнению со следующей лучшей моделью. Эти модели являются передовыми (SOTA) для типичных бизнес-задач, таких как поиск по PDF-файлам со сложными изображениями, и теперь доступны во встроенном решении для встраивания Turbopuffer.

Начало работы

Разработчики могут получить доступ к открытым весам, данным, рецептам обучения и многому другому на Hugging Face, развернуть NVIDIA NIM для вывода в производственной среде или развернуть модели через ведущих облачных партнеров и партнеров по выводу, включая Baseten (Embed, Rerank, Parse), DeepInfra (Embed 1B, Embed 8B, Rerank 8B) и FriendliAI (Embed 1B, Embed 8B, Rerank 8B).

• Nemotron-3.5-Parse: Hugging Face, NIM
• Nemotron-3.5-Embed-8B-BF16: Hugging Face, NIM
• Nemotron-3.5-Embed-1B-BF16: Hugging Face, NIM
• Nemotron-3.5-Embed-1B-NVFP4: Hugging Face,
• Nemotron-3.5-Rerank-8B-BF16: Hugging Face, NIM

Для адаптации доменов с помощью NVIDIA AutoModel мы предоставляем поддержку fine-tuning для мультимодальных и reranking, позволяя командам адаптировать модели под собственные коллекции документов и требования к релевантности. Начните работу с рецептами точной настройки встраивания и переранжирования Nemotron.

Выберите модель в зависимости от вашего рабочего процесса: Parse для извлечения структурированной информации из документов, Embed для поиска по тексту и изображениям и Rerank для улучшения упорядочивания извлеченных результатов. Объедините их для создания конвейеров извлечения, которые предоставляют ИИ-агентам более веские доказательства.

Благодарности и основные разработчики

Выпуск Nemotron 3.5 Retriever стал результатом потрясающего сотрудничества между многими командами и специалистами NVIDIA, включая основных участников:

Ronay Ak, Yauhen Babakhin, Behzad Boroujerdian, Jiarui Cai, Ryan Chesler, Zoe Faul (cw), Jennifer Hajduk, Steve Han, Oliver Holworthy, Isabel Hulseman, Bo Liu, Gabriel Moreira, Even Oldridge, Radek Osmulski, Denis Ovchinnikov, Julio Perez, Khang Pham, Alex Richards, James Rong, Jihyeon Ryu, Sohail Sahi, Regis Schiavi, Sean Sodha, Marek Wawrzos, Jakub Zakrzewski, Lucy Zhang, Yuhe Zhang.