Cohere Rerank 5 | Более релевантный контекст для RAG и агентов

Основные выводы

• Современный поиск: Rerank 5 Pro лидирует в основных публичных бенчмарках, в то время как Rerank 5 Fast обеспечивает производительность, близкую к лидирующей, при более низкой стоимости.
• Высокие результаты в корпоративных областях: Rerank 5 зарекомендовал себя как лидер в финансовой сфере, здравоохранении, научных исследованиях, обработке документов и многоязычном поиске.
• Фокус на контексте (Context Focus): новое в Rerank 5 — один вызов Rerank возвращает наиболее релевантные фрагменты внутри каждого документа, сокращая затраты на токены LLM при минимальной потерe качества ответов.
• Откалиброванные оценки релевантности: стабильные оценки для разных запросов и доменов позволяют командам устанавливать единый порог для определения того, что именно передается в LLM.
• Развертывание где угодно: доступно через API Cohere, Model Vault, Microsoft Foundry, Amazon SageMaker, конфиденциально в вашем собственном VPC или локально, а также для всех пользователей North. Начните работу всего с нескольких строк кода.

Введение

Сегодня мы выпускаем Rerank 5, наши самые передовые модели корпоративного поиска, доступные в версиях Pro и Fast.

Rerank 5 помогает командам находить нужную информацию, отправлять наиболее релевантный контекст в LLM и предоставлять клиентам более персонализированные результаты поиска. С Rerank 5 Pro мы задали новый стандарт качества реранкинга, особенно для задач поиска, требующих логического рассуждения, работы с визуально насыщенными документами и в ключевых корпоративных отраслях. Rerank 5 Fast переносит это качество на рабочие нагрузки, чувствительные к задержкам и стоимости. Обе модели представляют функцию Context Focus, которая определяет наиболее релевантные фрагменты текста внутри документов, выходя за рамки поиска на уровне документов или чанков для точного извлечения важной информации.

Каждый токен, который читает ваша LLM, — это токен, за который вы платите, и поиск определяет, какие именно это будут токены. Поскольку агенты выполняют больше поисковых запросов по длинным документам, поиск стал ключевым рычагом, с помощью которого компании могут управлять затратами на ИИ, задержками и качеством ответов.

Rerank 5 пополняет линейку наших поисковых моделей последнего поколения наряду с Embed 5 и Parse 5. Модель доступна уже сегодня через API Cohere и Model Vault, Microsoft Foundry, Amazon SageMaker, а также для всех пользователей North. Стоимость API составляет $0.05 за 1 млн токенов для Pro и $0.02 для Fast.

Производительность

Rerank 5 Pro лидирует в публичных бенчмарках, таких как ViDoRe V3, nanoMTEB, BRIGHT и BEIR, превосходя все протестированные конкурирующие модели. Из 46 оцененных составных наборов данных Rerank 5 Pro занял первое место в 39 и по меньшей мере второе в 43. Модели оцениваются с помощью RCP-nDCG@10 — разработанной Cohere методологии, призванной устранить ограничения традиционного nDCG, вызванные неполными оценками релевантности (покрытием qrel).

Преимущество особенно заметно на BRIGHT — бенчмарке, тестирующем поиск с упором на логические рассуждения, где определение релевантных документов требует более глубокого понимания помимо ключевых слов или семантического сходства. Rerank 5 Pro набирает 82.2 балла, опережая Voyage AI Rerank 3 на 5.8 балла и Rerank 4 Pro на 12.4 балла, что является рекордным приростом между поколениями по четырем основным бенчмаркам. Pro также опережает ближайшего внешнего конкурента на 1.6 балла в ViDoRe V3, на 1.8 в BEIR и на 3.4 в nanoMTEB. Эти достижения приобретают особое значение для агентных рабочих процессов, где сложные многошаговые запросы требуют способности оценивать релевантность и возвращать данные, которые могут не иметь внешнего сходства с исходным запросом.

Rerank 5 Fast обеспечивает значительный прирост качества в категории, оптимизированной по скорости. Во всех четырех бенчмарках она превосходит Voyage AI Rerank 3 Lite и Qwen3-Reranker-0.6B, а также значительно превосходит более крупные модели Qwen3-Reranker-8B и Rerank 4 Pro предыдущего поколения.

Основные бенчмарки. Качество реранкинга (RCP-nDCG@10) на четырех публичных бенчмарках: ViDoRe V3 (8 наборов данных), BEIR (13), BRIGHT (12) и nanoMTEB (13). Оценки усреднены по наборам данных каждого бенчмарка.

Производительность в предметных областях

В специализированных корпоративных областях Rerank 5 демонстрирует стабильное лидерство. В финансах и экономике Rerank 5 Pro опережает конкурентов в задачах визуального поиска по финансовым документам (ViDoRe Finance), числовых рассуждений по финансовым отчетам (FinQA) и сложных экономических вопросов (BRIGHT Economics). Здесь его преимущество наиболее велико и превышает Voyage AI Rerank 3 на 9.6 балла.

Аналогичные результаты наблюдаются в здравоохранении, научных исследованиях и поиске в энергетическом секторе, где here бенчмарки проверяют способность извлекать релевантную информацию из специализированной научной литературы, биомедицинских исследований и материалов по изменению климата. Полный список результатов можно посмотреть здесь.

Качество реранкинга (RCP-nDCG@10) на наборах данных по финансам и экономике.

Качество реранкинга (RCP-nDCG@10) на наборах данных по здравоохранению и наукам о жизни.

Качество реранкинга (RCP-nDCG@10) на наборах данных по научным исследованиям.

Качество реранкинга (RCP-nDCG@10) на наборах данных по энергетике и устойчивому развитию.

Многоязычность

Rerank 5 Pro превосходит Rerank 4 Pro на всех оцениваемых языках, показывая прирост по меньшей мере на два балла для испанского, французского, немецкого, арабского и корейского языков. Модель занимает первое место по 14 из 19 неанглийских языков в нашем наборе внутренних тестов, включая все шесть приоритетных деловых языков, показанных ниже.

В сравнении с конкурентами Pro опережает Voyage AI Rerank 3 на каждом из этих языков. Наибольший отрыв наблюдается в японском (+2.7), французском (+2.3) и арабском (+2.3) языках. Rerank 5 Fast превосходит Voyage AI Rerank 3 Lite по всем шести языкам, причем на арабском языке разница достигает 4.5 баллов. .

Многоязычность. Качество реранкинга (RCP-nDCG@10) в разрезе языков по нашему набору внутренних тестов для шести выбранных языков. Весь набор состоит из 20 мировых языков и 74 наборов данных.

Разобранные PDF-файлы

В задачах поиска по контенту, извлеченному из PDF-файлов (что является важной возможностью для корпоративного поиска по документам), Pro достигает наивысшего среднего балла 89.9 в оцениваемом наборе. Это ставит модель выше Voyage AI Rerank 3 (88.4) и Rerank 4 Pro (88.3). Fast следует сразу за ними с результатом 88.5, незначительно опережая обе модели.

Разобранные PDF-файлы. Качество реранкинга (RCP-nDCG@10), усредненное по 47 наборам данных текста, извлеченного из PDF-файлов. Документы обрабатывались с помощью Gemini 1.5 Flash.

Задержка и пропускная способность

Rerank 5 Fast создана для работы с большими объемами. При устойчивой нагрузке Fast выполняет реранкинг примерно 187 документов стандартной длины (1000 токенов) в секунду на графическом процессоре NVIDIA A100, обеспечивая пропускную способность в 2.9 раза выше, чем у Pro.

Fast также обеспечивает почти в 3 раза более быстрое время отклика по сравнению с Pro, что делает ее идеальным выбором для приложений, чувствительных к задержкам, и агентов, выполняющих много поисковых запросов на одну задачу. Pro остается лучшим выбором для приложений, где качество ранжирования имеет приоритет над скоростью.

Пропускная способность документов и средняя задержка запроса для Rerank 5 Fast и Pro на одном графическом процессоре NVIDIA A100 Tensor Core через API Cohere, при 96 документах на запрос с параллелизмом 8 и более чем 1000 запросах на каждую длину документа. Длина документов указана приблизительно.

Фокус на контексте: экономика токенов нового уровня

По мере того как документы становятся длиннее, а агенты ИИ извлекают информацию из все большего числа источников, объем контекста, передаваемого языковым моделям (LLM), продолжает расти. И тем не менее, зачастую лишь несколько предложений в каждом документе имеют отношение к запросу. Обработка ненужного контента увеличивает затраты на токены, повышает задержку и может вносить шум, снижающий качество ответов.

Context Focus — новая опциональная функция, выпускаемая вместе с Rerank 5, которая выходит за рамки простого определения релевантных документов и позволяет точно указывать конкретные фрагменты текста, имеющие наибольшее значение. Настраиваемые пороговые значения позволяют разработчикам находить баланс между сокращением контекста и сохранением полезных данных, в то время как один вызов API Rerank возвращает как оценки релевантности на уровне документов, так и оцененные текстовые фрагменты. В результате приложения могут передавать LLM только самую релевантную информацию без добавления дополнительных шагов в пайплайн извлечения данных.

Отделите контекст от качества ответов

Мы измерили, как меняется качество ответов при удалении Context Focus большей части извлеченного текста на 30 датасетах для задач вопрос-ответ. Удаление половины контекста привело к потере всего 2 процентных пунктов качества ответов (сохранено 96%), а удаление трех четвертей — всего 7 (сохранено 87% качества ответов). Таким образом, Context Focus работает подобно регулятору: умеренные настройки обходятся практически бесплатно, а команды, которым требуется большая экономия, могут пожертвовать частью качества ради сокращения контекста до 10 раз.

Качество ответов по мере удаления извлеченного текста. Каждая модель выбирает топ-5 документов из одной и той же группы из 50 кандидатов, а затем удаляет текст на основе ряда пороговых значений (одна точка на порог): Rerank 5 с Context Focus, базовые модели с их собственными компрессорами. Qwen3.5-9B отвечает на основе оставшегося материала, а Qwen3.5-35B оценивает ответ. Ось X: доля удаленных извлеченных токенов; ось Y: средняя оценка судьи; для обоих параметров вычислено среднее значение по 30 датасетам QA с одним шагом из ViDoRe, UNICORN, BRIGHT-Pro и агентского QA (до 500 запросов в каждом).

Затем мы предоставили поисковому агенту поисковый стек, который собирался шаг за шагом, начиная с поиска по ключевым словам (BM25). Добавление Rerank 5 Pro повысило точность с 46% до 49%. Включение Context Focus позволило сократить количество токенов и дополнительно повысить точность. При пороге по умолчанию (0,1) количество токенов на задачу сократилось на 19%, а точность выросла до 57%. При значении 0,4 количество токенов уменьшилось на 34% (этот показатель снизился на каждом датасете), а точность достигла 58%. В целом, полный стек с Context Focus, настроенным на 0,4, использовал на 35% меньше токенов, чем один лишь BM25, при более высокой точности (58% против 46%). На шести бенчмарках глубокого поиска он использовал на 41% меньше токенов, а точность выросла с 39% до 52%, причем каждый бенчмарк улучшил показатели по обеим метрикам.

Результаты поискового агента, усредненные по 17 датасетам, включая шесть бенчмарков глубокого поиска (BrowseComp-Plus, MedBrowseComp, WebWalkerQA, SealQA, HERB и DRBench), с 50 вопросами на датасет. Мы следуем схеме оценки BrowseComp-Plus. Используется агент glm-5-3-flash, поиск выступает в качестве единственного инструмента при выдаче 5 результатов на поиск. Извлечение начинается с BM25, а Rerank 5 Pro переупорядочивает топ-100 при отключенном Context Focus. Затем Context Focus демонстрируется при пороговом значении по умолчанию (0,1) и при 0,4, каждое из которых применяется поверх Rerank 5 Pro. Точность — это процент правильно отвеченных вопросов. Токены — это среднее общее количество на задачу, просуммированное по каждому вызову LLM за прогон: входные, выходные токены и токены рассуждений. Промпт для каждого вызова включает всю предшествующую беседу, при этом учитываются закэшированные токены.

Калиброванные оценки релевантности

В Rerank 5 оценка 0,7 теперь означает 70% вероятность того, что документ полезен.

Любой реранкер возвращает оценку релевантности, но до сих пор эти оценки были хороши в основном для сортировки. То, что считалось «хорошей» оценкой, менялось от модели к модели. Командам приходилось настраивать пороговое значение отсечения для каждой модели и перенастраивать его при каждом обновлении.

Оценки Rerank 5 откалиброваны «из коробки»: relevance_score, возвращаемый с каждым результатом, интерпретируется как вероятность полезности документа, при этом ваш запрос или формат ответа не требуют изменений. Pro и Fast также сходятся в том, где проходит граница: «скорее полезно, чем нет» соответствует оценке 0,50 для Pro и 0,45 для Fast.

Исходные оценки Rerank 5 интерпретируются как вероятности. Документы распределяются по десяти корзинам на основе оценки, и каждая линия соединяет корзины модели: средняя оценка корзины (по горизонтали) против доли ее документов, признанных полезными (по вертикали). На пунктирной диагонали оценка точно равна вероятности; линии ниже нее завышают релевантность, а линии выше нее — занижают. Оценки используются в том виде, в каком они возвращаются, без дополнительной калибровки. Слева: слепые человеческие эксперты, 2262 документа; полезно = средняя оценка «Полезно» или выше по пятибалльной шкале (Вне темы, По теме, Полезно, Ответы, Исчерпывающе). Справа: оценщики NIST TREC-DL, 20 646 документов; полезно = оценка 2 («высокая релевантность») или выше по шкале NIST 0–3.

Мы проверили это на двух независимых наборах человеческих оценок, на которых не обучалась ни одна модель: слепой группе экспертов и оценщиках NIST TREC Deep Learning. По обоим наборам Rerank 5 следует диагонали гораздо точнее, чем любой другой реранкер. Конкурирующие модели располагаются ниже, завышая релевантность: документы, которым Voyage AI Rerank 3 присвоил около 0,55, оказались полезными для экспертов-людей всего в 24% случаев.

В таблице ниже это суммировано в виде ошибки калибровки (Expected Calibration Error, ECE): среднего разрыва между оценками модели и реальной долей полезных документов, где 0 — идеальный результат. Для Rerank 5 этот показатель составляет около 0,06 для обоих наборов оценок; у каждого другого протестированного нами реранкера эта ошибка примерно в четыре раза больше или выше. Калибровка при этом не ухудшает качество ранжирования: Rerank 5 Pro и Fast занимают первое и второе места по средней точности на обоих наборах.

Ошибка калибровки (Expected Calibration Error) суммирует каждую линию на графиках выше: среднее расстояние ее точек от диагонали, взвешенное по количеству документов, которые представляет каждая точка. Другими словами, это показатель того, насколько сильно оценки модели отличаются от реальной доли полезных документов. Меньше — значит лучше; 0 — идеально.

Почему это важно

• Фильтруйте по релевантности, а не по количеству. Вместо передачи фиксированного значения top-k в LLM сохраняйте каждый документ, превышающий пороговое значение. Узкие запросы пропускают несколько документов, широкие — больше, а модель видит меньше шума.
• Знайте, когда ничего релевантного не нашлось. Если ни один документ не преодолевает пороговое значение, агент может переформулировать запрос или сообщить, что он ничего не знает, вместо того чтобы давать ответ на основе того, что оказалось на первом месте.
• Единый порог для разных доменов и размеров моделей. На датасетах BRIGHT, NanoBEIR и ViDoRe V3 порог по умолчанию остается в диапазоне от 0,47 до 0,53 для Pro, а версии Pro и Fast отличаются друг от друга менее чем на 0,05.

Начало работы с реранкингом

Rerank 5 Pro и Rerank 5 Fast общедоступны через Cohere API, Model Vault, Microsoft Foundry (Fast, ) и Amazon SageMaker (Fast, ), а также для всех пользователей Северного полушария. Для развертывания в частной среде в вашем собственном VPC или локально обратитесь к участникам нашей команды.

Rerank 5 надстраивается над уже имеющимся у вас поисковым стеком. Он работает с любым поиском по ключевым словам, векторным или гибридным поиском без необходимости переиндексации и доступен через такие фреймворки, как LangChain, Haystack, Elasticsearch и Weaviate. Читайте документацию.

Начните с создания ключа API, а затем используйте приведенные ниже фрагменты кода, чтобы быстро выполнить свой первый запрос.

Заключительные мысли

Попробуйте Rerank 5 в составе полного стека поиска. Compass Cloud, наша управляемая платформа поиска и извлечения данных, объединяет парсинг, встраивание, гибридный поиск и Rerank в единый сервис, а управление инфраструктурой берет на себя Cohere. Сейчас она находится на этапе закрытого бета-тестирования для команд, создающих приложения с интенсивным использованием поиска и агентские системы. Запросите доступ.

Ключевые участники

Клифтон Пот (Clifton Poth), Фабиан Шмидт (Fabian Schmidt), Самарт Бхаргав (Samarth Bhargav), Алекхья Нандула (Alekhya Nandula), Юхен Хуан (Yuheng Huang), Артур Мацеевич (Arthur Maciejewicz), Деннис Чжао (Dennis Zhao), Тимоти Анг (Timothy Ang), Карлос Лассанс (Carlos Lassance), Нильс Реймерс (Nils Reimers)