Если вы занимаетесь поиском кода, вы наверняка задавались вопросом: стоит ли использовать специализированную модель эмбеддингов для кода или достаточно мощной универсальной модели?
Модель papr-embed-code-1 от Papr — хороший пример для проверки. Это Qwen3-Embedding, дообученная на задачах поиска кода, с открытыми весами в двух размерах: 0.6B и 4B. Papr сообщает о высоких результатах в CoIR, бенчмарке для поиска кода. Однако модель обучалась на большей части обучающих данных CoIR, о чем прямо говорится в карточке модели. Papr также сообщает, что версия 4B занимает первое место в двух независимых лидербордах MTEB по коду: RTEB (Code) и CodeRAG.
Мы задали более узкий вопрос. Превосходит ли она исходную модель на коде, который она никогда не видела? И сколько стоит ее запуск в Qdrant?
Как мы проводили тестирование
Мы сравнили каждую модель papr-embed-code-1 с исходной моделью Qwen3-Embedding, на базе которой она была обучена, используя одинаковые инструкции для запросов. Задачи делятся на три группы:
- Код, на котором Papr не обучалась: HumanEval и MBPP сопоставляют описание задачи с функцией на Python, которая ее решает. FreshStack сопоставляет вопрос со Stack Overflow с файлами библиотеки, к которой он относится. WikiSQL сопоставляет вопрос о таблице с соответствующим SQL-запросом.
- Код, на котором Papr обучалась: три задачи CoIR, хотя версия 4B пропустила CodeTransOcean Contest. APPS сопоставляет задачу программирования с ее решением. CodeTransOcean Contest сопоставляет программу с той же программой на другом языке. StackOverflowQA сопоставляет вопрос с ответом.
- Проза: четыре набора данных BEIR: NFCorpus, ArguAna, SCIDOCS и FiQA.
Там, где карточки моделей Papr оценивают собственные модели, наши результаты совпадают с точностью до 0.001 nDCG@10 по каждой задаче, за исключением тех, что содержат множество идентичных документов (отмечены † в полных результатах). В таких случаях оценка зависит от того, как разрешаются ничьи, что может меняться в зависимости от размера пакета (batch size). На SyntheticText2SQL мы получили 0.625 и 0.650 для двух размеров против 0.720 и 0.723 у Papr.
Лучше на коде, который она никогда не видела
На коде, на котором Papr не обучалась, обе версии превзошли свои базовые модели. Версия 4B показала прирост 0.034 nDCG@10 в среднем, а 0.6B — 0.026. В задачах CoIR прирост был аналогичным.
Прирост в поиске кода, потери в прозе. Точный поиск, nDCG@10. Чем выше, тем лучше. nDCG@10 Невиданный код CoIR Проза 0.0 0.2 0.4 0.6 0.8 1.0 Qwen3 0.6B Papr 0.6B Qwen3 4B Papr 4B
Прирост наблюдался во всех этих задачах, но его величина сильно варьировалась. В HumanEval базовая модель 4B уже имела оценку 0.98, поэтому значительного прироста не было. В WikiSQL модель 4B показала прирост 0.070.
С прозой ситуация обратная. Обе версии показали результаты немного хуже, чем у базовой модели: на 0.003 для 0.6B и на 0.016 для 4B. На TREC-COVID, наборе научных статей о COVID-19, версия 0.6B потеряла 0.065. Если большая часть ваших данных — это проза, лучше оставить базовую модель.
Сжатая до 1 бита модель 4B превосходит 0.6B
Поиск кода обычно подразумевает большое количество векторов: функция, фрагмент файла или отдельный сниппет. Векторы модели 4B имеют 2560 измерений, что составляет 10 КБ на вектор в формате float32.
Они отлично сжимаются. С помощью 1-битного TurboQuant каждый вектор занимает 328 байт, что в 31 раз меньше. В наших семи задачах по коду 1-битный TurboQuant сохранил 99.7% точности 4B в формате float32 без переранжирования и 100% с переранжированием при 2-кратной избыточной выборке.
Это меняет выбор модели. Модель 4B, сжатая до 1 бита, показывает более высокие результаты, чем 0.6B в формате float32, и при этом требует в 12 раз меньше оперативной памяти.
RAM на вектор. Чем меньше, тем лучше. 0 5,000 10,000 0.6B float32 4096 Б 0.6B 1-бит 136 Б 4B float32 10240 Б 4B 1-бит 328 Б Байт на вектор
Модель 4B все еще дороже в эксплуатации, так как она создает эмбеддинги примерно в четыре раза медленнее, чем 0.6B на том же GPU. Исключением является WikiSQL, где 0.6B показала более высокий результат.
Миллион сниппетов в одной коллекции
В других наших задачах по коду не более 20 000 документов, что делает сжатие простой задачей. Поэтому мы также загрузили CodeSearchNet-CC в одну коллекцию: около миллиона сниппетов на шести языках, от Python до Ruby. Каждый запрос — это начало функции, а правильный документ — ее остальная часть. Фильтр полезной нагрузки (payload filter) ограничивает поиск языком запроса.
Сжатие показало себя хорошо и при таком объеме. При hnsw_ef 128 1-битный TurboQuant с переранжированием сохранил 99.5% точности точного поиска против 99.7% для float32. Это было также быстрее: 1.0 мс на запрос против 1.8 мс, при условии, что исходные векторы для переранжирования уже находятся в памяти.
Более важным рычагом оказался hnsw_ef — количество кандидатов, которые исследует поиск. Увеличение его с 128 до 256 добавило от 0.002 до 0.004 nDCG@10 к каждой конфигурации. Этого достаточно, чтобы 1-битные векторы с переранжированием при 256 превзошли float32 при 128. При 256 векторы float32, 2-битные и 1-битные с переранжированием сохранили 99.8% или более, а 1-битный поиск занял 1.4 мс против 2.9 мс для float32.
Отключение фильтра и поиск сразу по всем шести языкам привели к потере 0.005–0.007.
А как насчет BM25?
Код полон точных имен, поэтому полнотекстовый поиск кажется естественным дополнением. В Qdrant 1.20 добавлен токенизатор кода для полнотекстовых индексов. Он разбивает getUserName и get_user_name на одни и те же слова. Qdrant также может оценивать полнотекстовые совпадения с помощью BM25, поэтому гибридный запрос может объединить BM25 с векторным поиском.
В наших задачах BM25 сам по себе сильно отставал от векторного поиска. В APPS, где запросы — это формулировки задач, а документы — готовые решения, он набрал 0.01 nDCG@10. У них почти нет общих слов.
Объединение BM25 с векторным поиском с равным весом ухудшило результат в каждой задаче на 0.02–0.17 для модели 4B. Снижение веса BM25 помогло, но только до уровня безубыточности. При весе RRF для BM25, равном 0.1, модель 4B в среднем отставала на 0.0006 от чисто векторного поиска, а ее лучший прирост в любой задаче составил 0.002.
Наши запросы состояли из вопросов, описаний и кода, и для них векторный поиск был лучшим выбором.
Так стоит ли оно того?
Для поиска кода — да. На коде, который она никогда не видела, papr-embed-code-1 превзошла исходную модель в обоих размерах примерно на 0.03 nDCG@10. В прозе она показала себя немного хуже, поэтому, если большая часть вашего корпуса — проза, оставайтесь с базовой моделью.
Более важный выбор — это размер. Сжатая до 1 бита модель 4B показала результат выше, чем 0.6B в формате float32, при этом потребляя в 12 раз меньше оперативной памяти. Если вы можете позволить себе создание эмбеддингов с помощью 4B, мы рекомендуем хранить их с 1-битным TurboQuant, оставить включенным переранжирование и увеличить hnsw_ef перед добавлением битов. Сравните с неквантованной коллекцией на ваших собственных запросах: один раз с отключенным переранжированием и один раз с 2-кратной избыточной выборкой. Если вы индексируете несколько языков в одной коллекции, используйте фильтрацию по языку.
Для начала мы бы не стали использовать BM25. Если ваши пользователи ищут точные идентификаторы, это тот случай, когда стоит протестировать его с низким весом.
Версия 0.6B появится в FastEmbed в следующем релизе.
Полные результаты
Каждая модель получила одинаковые инструкции для запросов. † Много идентичных документов, поэтому оценка зависит от того, как разрешаются ничьи. Исключены из средних значений. ‡ Papr обучалась на своем обучающем наборе. § Модель 4B не обучалась на этом.
Среднее значение по семи задачам по коду (HumanEval, MBPP, FreshStack, WikiSQL, APPS, CodeTransOcean Contest и StackOverflowQA), поиск с использованием HNSW. Переранжирование использует 2-кратную избыточную выборку. Байты учитывают только векторы, по которым ведется поиск в RAM.
papr-embed-code-1-0.6b на CodeSearchNet-CC, 1 005 474 сниппета, каждый запрос отфильтрован по языку. Точный поиск дает 0.923. Задержка — это время на стороне сервера Qdrant.
papr-embed-code-1-4b. BM25 использует токенизатор кода. RRF использует значение k по умолчанию в Qdrant.
Спасибо Papr за выпуск моделей кода с открытыми весами, а также за публикацию подробной информации о том, как они их обучали и оценивали.












