Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Stoit li ispolzovat model embeddingov nastroennuyu na kod papr embed code 1 v qd
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant

Источник: Qdrant•18 ноября 2026 г. в 16:16

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant

Если вы занимаетесь поиском кода, вы наверняка задавались вопросом: стоит ли использовать специализированную модель эмбеддингов для кода или достаточно мощной универсальной модели? Модель papr-embed-code-1 от Papr — хороший пример для проверки. Это Qwen3-Embedding, дообученная на задачах поиска…

Если вы занимаетесь поиском кода, вы наверняка задавались вопросом: стоит ли использовать специализированную модель эмбеддингов для кода или достаточно мощной универсальной модели?

Модель papr-embed-code-1 от Papr — хороший пример для проверки. Это Qwen3-Embedding, дообученная на задачах поиска кода, с открытыми весами в двух размерах: 0.6B и 4B. Papr сообщает о высоких результатах в CoIR, бенчмарке для поиска кода. Однако модель обучалась на большей части обучающих данных CoIR, о чем прямо говорится в карточке модели. Papr также сообщает, что версия 4B занимает первое место в двух независимых лидербордах MTEB по коду: RTEB (Code) и CodeRAG.

Мы задали более узкий вопрос. Превосходит ли она исходную модель на коде, который она никогда не видела? И сколько стоит ее запуск в Qdrant?

Как мы проводили тестирование

Мы сравнили каждую модель papr-embed-code-1 с исходной моделью Qwen3-Embedding, на базе которой она была обучена, используя одинаковые инструкции для запросов. Задачи делятся на три группы:

  • Код, на котором Papr не обучалась: HumanEval и MBPP сопоставляют описание задачи с функцией на Python, которая ее решает. FreshStack сопоставляет вопрос со Stack Overflow с файлами библиотеки, к которой он относится. WikiSQL сопоставляет вопрос о таблице с соответствующим SQL-запросом.
  • Код, на котором Papr обучалась: три задачи CoIR, хотя версия 4B пропустила CodeTransOcean Contest. APPS сопоставляет задачу программирования с ее решением. CodeTransOcean Contest сопоставляет программу с той же программой на другом языке. StackOverflowQA сопоставляет вопрос с ответом.
  • Проза: четыре набора данных BEIR: NFCorpus, ArguAna, SCIDOCS и FiQA.

Там, где карточки моделей Papr оценивают собственные модели, наши результаты совпадают с точностью до 0.001 nDCG@10 по каждой задаче, за исключением тех, что содержат множество идентичных документов (отмечены † в полных результатах). В таких случаях оценка зависит от того, как разрешаются ничьи, что может меняться в зависимости от размера пакета (batch size). На SyntheticText2SQL мы получили 0.625 и 0.650 для двух размеров против 0.720 и 0.723 у Papr.

Лучше на коде, который она никогда не видела

На коде, на котором Papr не обучалась, обе версии превзошли свои базовые модели. Версия 4B показала прирост 0.034 nDCG@10 в среднем, а 0.6B — 0.026. В задачах CoIR прирост был аналогичным.

Прирост в поиске кода, потери в прозе. Точный поиск, nDCG@10. Чем выше, тем лучше. nDCG@10 Невиданный код CoIR Проза 0.0 0.2 0.4 0.6 0.8 1.0 Qwen3 0.6B Papr 0.6B Qwen3 4B Papr 4B

Прирост наблюдался во всех этих задачах, но его величина сильно варьировалась. В HumanEval базовая модель 4B уже имела оценку 0.98, поэтому значительного прироста не было. В WikiSQL модель 4B показала прирост 0.070.

С прозой ситуация обратная. Обе версии показали результаты немного хуже, чем у базовой модели: на 0.003 для 0.6B и на 0.016 для 4B. На TREC-COVID, наборе научных статей о COVID-19, версия 0.6B потеряла 0.065. Если большая часть ваших данных — это проза, лучше оставить базовую модель.

Сжатая до 1 бита модель 4B превосходит 0.6B

Поиск кода обычно подразумевает большое количество векторов: функция, фрагмент файла или отдельный сниппет. Векторы модели 4B имеют 2560 измерений, что составляет 10 КБ на вектор в формате float32.

Они отлично сжимаются. С помощью 1-битного TurboQuant каждый вектор занимает 328 байт, что в 31 раз меньше. В наших семи задачах по коду 1-битный TurboQuant сохранил 99.7% точности 4B в формате float32 без переранжирования и 100% с переранжированием при 2-кратной избыточной выборке.

Это меняет выбор модели. Модель 4B, сжатая до 1 бита, показывает более высокие результаты, чем 0.6B в формате float32, и при этом требует в 12 раз меньше оперативной памяти.

RAM на вектор. Чем меньше, тем лучше. 0 5,000 10,000 0.6B float32 4096 Б 0.6B 1-бит 136 Б 4B float32 10240 Б 4B 1-бит 328 Б Байт на вектор

Модель 4B все еще дороже в эксплуатации, так как она создает эмбеддинги примерно в четыре раза медленнее, чем 0.6B на том же GPU. Исключением является WikiSQL, где 0.6B показала более высокий результат.

Миллион сниппетов в одной коллекции

В других наших задачах по коду не более 20 000 документов, что делает сжатие простой задачей. Поэтому мы также загрузили CodeSearchNet-CC в одну коллекцию: около миллиона сниппетов на шести языках, от Python до Ruby. Каждый запрос — это начало функции, а правильный документ — ее остальная часть. Фильтр полезной нагрузки (payload filter) ограничивает поиск языком запроса.

Сжатие показало себя хорошо и при таком объеме. При hnsw_ef 128 1-битный TurboQuant с переранжированием сохранил 99.5% точности точного поиска против 99.7% для float32. Это было также быстрее: 1.0 мс на запрос против 1.8 мс, при условии, что исходные векторы для переранжирования уже находятся в памяти.

Более важным рычагом оказался hnsw_ef — количество кандидатов, которые исследует поиск. Увеличение его с 128 до 256 добавило от 0.002 до 0.004 nDCG@10 к каждой конфигурации. Этого достаточно, чтобы 1-битные векторы с переранжированием при 256 превзошли float32 при 128. При 256 векторы float32, 2-битные и 1-битные с переранжированием сохранили 99.8% или более, а 1-битный поиск занял 1.4 мс против 2.9 мс для float32.

Отключение фильтра и поиск сразу по всем шести языкам привели к потере 0.005–0.007.

А как насчет BM25?

Код полон точных имен, поэтому полнотекстовый поиск кажется естественным дополнением. В Qdrant 1.20 добавлен токенизатор кода для полнотекстовых индексов. Он разбивает getUserName и get_user_name на одни и те же слова. Qdrant также может оценивать полнотекстовые совпадения с помощью BM25, поэтому гибридный запрос может объединить BM25 с векторным поиском.

В наших задачах BM25 сам по себе сильно отставал от векторного поиска. В APPS, где запросы — это формулировки задач, а документы — готовые решения, он набрал 0.01 nDCG@10. У них почти нет общих слов.

Объединение BM25 с векторным поиском с равным весом ухудшило результат в каждой задаче на 0.02–0.17 для модели 4B. Снижение веса BM25 помогло, но только до уровня безубыточности. При весе RRF для BM25, равном 0.1, модель 4B в среднем отставала на 0.0006 от чисто векторного поиска, а ее лучший прирост в любой задаче составил 0.002.

Наши запросы состояли из вопросов, описаний и кода, и для них векторный поиск был лучшим выбором.

Так стоит ли оно того?

Для поиска кода — да. На коде, который она никогда не видела, papr-embed-code-1 превзошла исходную модель в обоих размерах примерно на 0.03 nDCG@10. В прозе она показала себя немного хуже, поэтому, если большая часть вашего корпуса — проза, оставайтесь с базовой моделью.

Более важный выбор — это размер. Сжатая до 1 бита модель 4B показала результат выше, чем 0.6B в формате float32, при этом потребляя в 12 раз меньше оперативной памяти. Если вы можете позволить себе создание эмбеддингов с помощью 4B, мы рекомендуем хранить их с 1-битным TurboQuant, оставить включенным переранжирование и увеличить hnsw_ef перед добавлением битов. Сравните с неквантованной коллекцией на ваших собственных запросах: один раз с отключенным переранжированием и один раз с 2-кратной избыточной выборкой. Если вы индексируете несколько языков в одной коллекции, используйте фильтрацию по языку.

Для начала мы бы не стали использовать BM25. Если ваши пользователи ищут точные идентификаторы, это тот случай, когда стоит протестировать его с низким весом.

Версия 0.6B появится в FastEmbed в следующем релизе.

Полные результаты

Каждая модель получила одинаковые инструкции для запросов. † Много идентичных документов, поэтому оценка зависит от того, как разрешаются ничьи. Исключены из средних значений. ‡ Papr обучалась на своем обучающем наборе. § Модель 4B не обучалась на этом.

Среднее значение по семи задачам по коду (HumanEval, MBPP, FreshStack, WikiSQL, APPS, CodeTransOcean Contest и StackOverflowQA), поиск с использованием HNSW. Переранжирование использует 2-кратную избыточную выборку. Байты учитывают только векторы, по которым ведется поиск в RAM.

papr-embed-code-1-0.6b на CodeSearchNet-CC, 1 005 474 сниппета, каждый запрос отфильтрован по языку. Точный поиск дает 0.923. Задержка — это время на стороне сервера Qdrant.

papr-embed-code-1-4b. BM25 использует токенизатор кода. RRF использует значение k по умолчанию в Qdrant.

Спасибо Papr за выпуск моделей кода с открытыми весами, а также за публикацию подробной информации о том, как они их обучали и оценивали.

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
Как рекламироваться в Facebook в 2026 году: полное руководство
Hootsuite

Как рекламироваться в Facebook в 2026 году: полное руководство

Как писать масштабируемые скрипты для нагрузочного тестирования в Postman
Postman

Как писать масштабируемые скрипты для нагрузочного тестирования в Postman

Найм сотрудников для социальных сетей в 2026 году: роли, зарплаты и советы по формированию команды
Hootsuite

Найм сотрудников для социальных сетей в 2026 году: роли, зарплаты и советы по формированию команды

Почему вашему программному обеспечению нужен CBOM
SonarSource

Почему вашему программному обеспечению нужен CBOM

Как использовать AI-промпты для создания онлайн-курса
Teachable

Как использовать AI-промпты для создания онлайн-курса

Что определяет стоимость ИИ на рабочем месте
Microsoft

Что определяет стоимость ИИ на рабочем месте

Ещё от Qdrant

Как запустить модель эмбеддингов на «голом железе»
Qdrant

Как запустить модель эмбеддингов на «голом железе»

Быстрый и более доступный поиск с Qdrant 1.20
Qdrant

Быстрый и более доступный поиск с Qdrant 1.20

Масштабируемый поиск по PDF с использованием Cohere Embed 5 и асимметричной квантизации в Qdrant
Qdrant

Масштабируемый поиск по PDF с использованием Cohere Embed 5 и асимметричной квантизации в Qdrant

Qdrant 1.20 — Улучшения полнотекстового поиска
Qdrant

Qdrant 1.20 — Улучшения полнотекстового поиска

UltraBERT умещает 32K токенов в один вектор. Конец разбиения на чанки?
Qdrant

UltraBERT умещает 32K токенов в один вектор. Конец разбиения на чанки?

Как Poliscope сделала всю местную политику Германии доступной для поиска на одном сервере с помощью Qdrant
Qdrant

Как Poliscope сделала всю местную политику Германии доступной для поиска на одном сервере с помощью Qdrant