Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Naskolko kompaktnoy mozhet stat novaya model embeddinggemma 2 ot google
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Насколько компактной может стать новая модель EmbeddingGemma 2 от Google?

Источник: Qdrant•6 октября 2026 г. в 16:01

Насколько компактной может стать новая модель EmbeddingGemma 2 от Google?

Новая модель EmbeddingGemma 2 от Google может работать на телефоне. Модель очень легкая, но векторам требуется собственное «хранилище». При 10 миллионах документов одни только полноразмерные векторы float32 занимают 30,7 ГБ оперативной памяти. Мы получили ранний доступ перед сегодняшним релизом…

Новая модель EmbeddingGemma 2 от Google может работать на телефоне. Модель очень легкая, но векторы требуют собственного «чемодана». При объеме в 10 миллионов документов только полноразмерные векторы в формате float32 занимают 30,7 ГБ оперативной памяти.

Мы получили ранний доступ перед сегодняшним релизом Google DeepMind и протестировали, сколько памяти можно сэкономить в Qdrant. Квантованные полноразмерные векторы сохранили 99% качества поиска при использовании в 30 раз меньшего объема оперативной памяти. Более короткие векторы с переранжированием (rescoring) позволили сократить потребление оперативной памяти в 77 раз при сохранении 94,5% качества.

Мы попробовали оба способа экономии памяти: использование более коротких векторов и уменьшение количества бит на измерение. На графике они сравниваются с точным поиском по полноразмерным векторам float32 на пяти наборах данных для текстового поиска. Качество — это процент сохраненного показателя nDCG@10 от базового уровня, который оценивает, насколько хорошо топ-10 результатов ранжируют релевантные документы.

Сохраненный nDCG@10 в зависимости от оперативной памяти для векторов, 1-битный TurboQuant, % от точного поиска float32 768d, 0, 20, 40, 60, 80, 100, float32, 768d, базовый уровень, 100.0, в 30 раз меньше RAM, 768d, без переранжирования, 99.0, в 30 раз меньше RAM, 768d, с переранжированием, 99.7, в 43 раза меньше RAM, 512d, без переранжирования, 97.3, в 43 раза меньше RAM, 512d, с переранжированием, 98.8, в 77 раз меньше RAM, 256d, без переранжирования, 88.1, в 77 раз меньше RAM, 256d, с переранжированием, 94.5, % сохраненного nDCG@10 (переранжирование: избыточная выборка 4)

EmbeddingGemma 2 — это открытая модель эмбеддингов, построенная на базе Gemma 4. Она отображает текст, код, изображения, видео и аудио в единое 768-мерное пространство. Ее путь только для текста содержит 270 млн параметров. Google сообщает о 14% приросте качества поиска по коду по сравнению с первой версией EmbeddingGemma и контекстном окне на 8 тысяч токенов.

Обучение представлений Matryoshka (Matryoshka Representation Learning) позволяет сохранять первые 512, 256 или 128 измерений без повторного создания эмбеддингов ваших данных. Эти первые измерения остаются полезными сами по себе. Квантование позволяет сэкономить еще больше памяти за счет хранения каждого измерения с использованием меньшего количества бит.

Начните с полноразмерных 1-битных векторов

С этого мы бы и начали: сохраните все 768 измерений, используйте 1-битный TurboQuant и оставьте переранжирование выключенным. Каждый вектор занимает 104 байта вместо 3072. Это позволяет разместить векторы для 10 миллионов документов примерно в 1 ГБ оперативной памяти.

Отключение переранжирования также позволяет избежать чтения исходных векторов во время поиска. На 523 тысячах документов Quora эта настройка потребовала менее половины времени выполнения запроса по сравнению с поиском float32 и сохранила 99,0% качества поиска.

Высокая релевантность не означает идентичные результаты. Без переранжирования около 74% результатов из топ-10 совпали с точным поиском. Попробуйте переранжирование, если вашему приложению критически важно находить те же самые ближайшие соседи.

Сокращение размерности кажется очевидным способом экономии памяти. В этих тестах мы бы сначала уменьшили количество бит. При 72 байтах на вектор 512 измерений с 1 битом сохранили 97,3% базового уровня. При аналогичном бюджете памяти 128-мерная 4-битная настройка сохранила 84,0%. Попробуйте сначала сохранить больше измерений, но сильнее сжать каждое из них.

Поместитесь в 77 раз меньший объем оперативной памяти с помощью переранжирования

Если вы считаете каждый байт, стоит обратить внимание на 256 измерений. Оставьте 1-битный TurboQuant. Каждый вектор занимает 40 байт в оперативной памяти. С переранжированием эта настройка сохранила 94,5% базового уровня. Без него показатель упал до 88,1%. Если полноразмерная настройка все еще требует слишком много оперативной памяти, стоит протестировать этот вариант. Проверьте, подходят ли вашему приложению потеря релевантности и время на переранжирование.

Типы данных векторов в Qdrant позволяют хранить исходные данные в формате float16 или turbo4 для экономии места на диске. Мы еще не пробовали эти варианты. Это тема для другого эксперимента.

Попробуйте на своих данных

Начните с базовой конфигурации: полноразмерные векторы, 1-битный TurboQuant, переранжирование выключено. Она показала себя достаточно хорошо, чтобы стать первым тестом. Сравните релевантность и задержку с неквантованной коллекцией на ваших собственных запросах. Попробуйте переранжирование, если вам нужно лучшее восстановление соседей. Сокращайте векторы, если вам все еще нужно экономить память.

Благодарности

Спасибо Google DeepMind за EmbeddingGemma 2 и за ранний доступ к модели.

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
L3Harris получает контракт Объединенной группы по обеспечению потенциала на внедрение передовой системы
L3Harris

L3Harris получает контракт Объединенной группы по обеспечению потенциала на внедрение передовой системы

Управление ИИ в финансовых услугах начинается с рабочего процесса
Endava

Управление ИИ в финансовых услугах начинается с рабочего процесса

Платежные платформы выигрывают за счет расширения отношений
Endava

Платежные платформы выигрывают за счет расширения отношений

Инфраструктура реального времени Rails — это не готовый продукт для приема платежей
Endava

Инфраструктура реального времени Rails — это не готовый продукт для приема платежей

Платежи в операционном ядре
Endava

Платежи в операционном ядре

Последняя миля B2B-платежей — это проблема внедрения
Endava

Последняя миля B2B-платежей — это проблема внедрения

Ещё от Qdrant

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant
Qdrant

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant

Как запустить модель эмбеддингов на «голом железе»
Qdrant

Как запустить модель эмбеддингов на «голом железе»

Быстрый и более доступный поиск с Qdrant 1.20
Qdrant

Быстрый и более доступный поиск с Qdrant 1.20

Масштабируемый поиск по PDF с использованием Cohere Embed 5 и асимметричной квантизации в Qdrant
Qdrant

Масштабируемый поиск по PDF с использованием Cohere Embed 5 и асимметричной квантизации в Qdrant

Qdrant 1.20 — Улучшения полнотекстового поиска
Qdrant

Qdrant 1.20 — Улучшения полнотекстового поиска

UltraBERT умещает 32K токенов в один вектор. Конец разбиения на чанки?
Qdrant

UltraBERT умещает 32K токенов в один вектор. Конец разбиения на чанки?