Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Kak zapustit model embeddingov na golom zheleze
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Как запустить модель эмбеддингов на «голом железе»

Источник: Qdrant•16 ноября 2026 г. в 15:32

Как запустить модель эмбеддингов на «голом железе»

Запуск векторного поиска на периферийных устройствах — это то, над чем мы работаем здесь, в Qdrant. Основная проблема заключается в том, что векторный поиск требователен к ресурсам, начиная с этапа создания эмбеддингов: EmbeddingGemma-2, небольшая современная модель, занимает 310 МБ памяти при…

Запуск векторного поиска на периферийных устройствах — это то, над чем мы работаем здесь, в Qdrant.

Основная проблема заключается в том, что векторный поиск требователен к ресурсам, начиная с этапа создания эмбеддингов: EmbeddingGemma-2, небольшая современная модель, занимает 310 МБ памяти при квантовании до 8 бит, в то время как Qwen3 Embedding 4B, модель покрупнее, требует 4,28 ГБ. Размер — это лишь одна сторона медали: инференс на основе трансформеров включает в себя сложные вычисления и часто опирается на тяжелые зависимости, такие как PyTorch (или libtorch).

Возможно, у вас все будет хорошо на встраиваемых устройствах с операционной системой, несколькими ядрами и гигабайтами оперативной памяти и хранилища, таких как Reachy Mini. Но вам не повезет с платами, у которых всего несколько мегабайт флеш-памяти, нет диска и нет операционной системы. Короче говоря: вы не можете по-настоящему запустить модель эмбеддингов на «голом железе».

Или все-таки можете?

Для этой статьи мы использовали плату ESP32-S3 с 16 МБ флеш-памяти и 8 МБ PSRAM, поэтому все (модель и код) подобрано под эти параметры. Мы запускаем статическую модель эмбеддингов на no_std Rust, встраивая веса и словарь токенизатора в прошивку на этапе сборки: чип создает эмбеддинги для 10-12 токенов примерно за 1,2 мс. Если вы хотите сразу перейти к коду, переходите к разделу Make It Run!.

Для этой статьи мы использовали плату с 16 МБ флеш-памяти и 8 МБ PSRAM, поэтому все (модель и код) подобрано под эти параметры. Мы запускаем статическую модель эмбеддингов на no_std Rust, встраивая веса и словарь токенизатора в прошивку на этапе сборки: чип создает эмбеддинги для 10-12 токенов примерно за 1,2 мс. Если вы хотите сразу перейти к коду, переходите к разделу Make It Run!.

Статическая модель — это все, что вам нужно

Как мы уже сказали, есть две вещи, которые мешают запуску моделей эмбеддингов на «голом железе»: размер и инференс. Модели на основе трансформеров, такие как BERT или RoBERTa, велики, а их инференс состоит преимущественно из больших матричных умножений. Статические модели эмбеддингов — исключение: они представляют собой таблицу поиска с одним эмбеддингом на токен словаря, поэтому инференс — это просто токенизация текста, чтение строки для каждого токена, усреднение (mean pooling) и (опционально) L2-нормализация. Мы рассказывали о том, как они работают, в отдельной статье, поэтому здесь нам важен только вывод: никакого torch и всего несколько сотен строк простого кода.

Когда сложность инференса осталась позади, остается только выбрать модель, достаточно маленькую, чтобы поместиться на наш 16-мегабайтный чип. К счастью, серия potion от Minish предлагает подходящего кандидата: potion-base-2M, крошечную модель, которая занимает всего 7,5 МБ.

Но как нам поместить модель (и ее tokenizer) на плату ESP32? Чтобы выяснить это, нам придется немного поработать с Rust.

Как встроить модель эмбеддингов?

Rust — отличный язык для встраиваемых систем, но на «голом железе» есть один большой подвох: нет ОС, которая предоставляла бы сервисы, на которые полагается стандартная библиотека, поэтому мы не можем ее использовать. Мы называем это no_std Rust: код, который взаимодействует напрямую с оборудованием и полагается только на типы и функциональность, гарантированные core.

Этот контекст важен для того, что мы хотим сделать. Мы не можем использовать сторонние зависимости, требующие стандартной библиотеки (например, tokenizers). Мы также не можем читать файлы откуда угодно: диска нет, а API файловой системы все равно относится к стандартной библиотеке. Кроме того, мы теряем HashMap, что усложняет сопоставление токенов с идентификаторами.

Но решение есть для всего, поэтому давайте решать эти проблемы по очереди.

Встраивание файлов в бинарный код

Rust, как и многие компилируемые языки, позволяет встраивать содержимое внешних файлов в бинарный файл. Макрос include_bytes! упрощает это:

Формат safetensors хранит некоторые метаданные вместе с весами. В нашем build.rs (пользовательском скрипте сборки) мы считываем эти метаданные и создаем файл model_meta.rs, который затем включается нашей библиотекой во время компиляции:

Обратите внимание, что скрипт сборки использует API std: сборка выполняется на ноутбуке или сервере, где есть операционная система и диск для чтения и записи файлов.

Таким образом, тензор модели и его метаданные (сколько токенов он может закодировать, размерность векторов, а также где начинаются и заканчиваются веса) встраиваются непосредственно в бинарный файл на этапе сборки и считываются из памяти при запуске бинарного файла на чипе.

Токенизатор WordPiece в стиле no_std

Как уже упоминалось, мы не можем использовать библиотеку tokenizers от Hugging Face, потому что она требует стандартную библиотеку, поэтому нам приходится реализовывать токенизатор no_std самостоятельно.

Если вы посмотрите на токенизатор, связанный с potion-base-2M, вы увидите, что он использует алгоритм WordPiece: начиная со слова для токенизации, мы жадно сопоставляем самую длинную подстроку, которая есть в словаре, а затем повторяем процесс для оставшейся части. Слово hugs разбивается на hug (которое есть в словаре) и ##s (также есть в словаре, где ## — префикс продолжения).

Итак, имея словарь, реализация WordPiece требует только простого кода, а файл токенизатора предоставляет сам словарь.

Однако сам словарь — это карта от каждого строкового токена (hug) к его числовому идентификатору (7555), а у нас нет HashMap, потому что он находится в std::collections. Мы можем решить эту проблему, закодировав словарь в байты на этапе сборки и встроив эти байты в бинарный файл.

Нам нужен удобный для поиска блоб данных, но строковые токены имеют разную длину, поэтому мы не можем разместить их один за другим и умножить индекс на фиксированный размер, как мы делаем для чтения эмбеддингов. Вместо этого мы структурируем блоб так: счетчик, затем индекс слотов фиксированного размера, содержащих смещение байтов каждой записи, а затем сами записи в отсортированном порядке токенов. Каждая запись хранит 4-байтовый ID, 1-байтовую длину и байты токена.

Поскольку записи отсортированы, мы можем прочитать любую запись из ее слота и найти ID строкового токена с помощью бинарного поиска:

Когда поиск токенов готов, остается только реализовать конвейер токенизации в a little over 200 lines of code: нормализация текста (удаление управляющих символов, удаление акцентов, обработка китайских иероглифов, приведение к нижнему регистру), предварительная токенизация (разделение по пробелам, где каждый знак препинания становится отдельным токеном) и, наконец, применение WordPiece.

Небольшое примечание: если вы посмотрите на код, вы заметите, что мы используем Vec, хотя в обычном no_std Rust нет выделения кучи. Vec берется не из std, а из крейта alloc, которому для работы нужен только аллокатор кучи. Мы получаем его из крейта esp-alloc, который обрабатывает выделение памяти в куче, о котором в противном случае позаботилась бы операционная система (с некоторыми ограничениями). HashMap, с другой стороны, является только частью std, поэтому мы создали блоб словаря самостоятельно.

Make It Run!

Если вы все еще здесь, вы настоящий Rust-авантюрист: вы преодолели проблемы с размером и инференсом, встроили модель эмбеддингов и справились с токенизатором no_std и его словарем.

Осталось только запустить модель. Мы считываем байты тензора из памяти в срез u8 под названием table, токенизируем входной текст, считываем эмбеддинги токенов, затем объединяем их (pooling) и (опционально) нормализуем.

Учитывая нашу предыдущую статью о статических моделях эмбеддингов, можно было бы ожидать исключительно высокой скорости работы. Тем не менее, «скорости света» она не достигает: генерация эмбеддингов для 10-12 токенов занимает около 1,2 мс, то есть примерно 830 эмбеддингов в секунду. Это далеко от 11 000–15 000 эмбеддингов в секунду, которые мы получаем на MacBook Pro (на текстах, которые в среднем намного длиннее 10-12 токенов), но все же впечатляет, учитывая, что модель работает с объемом памяти, меньшим в 3000 раз.

Заключение

Итак, можно ли запустить модель эмбеддингов на «голом железе»? Да, если это статическая модель. Для этого не нужны PyTorch, токенайзеры или даже операционная система: все, что требуется — это таблица чисел с плавающей запятой и словарь, зашитые в бинарный файл, токенайзер WordPiece примерно на 200 строк кода на no_std Rust и цикл пуллинга. Она не побьет никаких рекордов скорости, но помещается на чипе с несколькими мегабайтами памяти и работает.

Эмбеддинги на периферийных устройствах: готово. Полный код вы можете найти в репозитории. Следующий шаг — вторая половина мечты: векторный поиск прямо на чипе.

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
Elation Health присоединяется к экосистеме плагинов OpenAI для здравоохранения, чтобы расширить возможности первичной медико-санитарной помощи за пределами клиник
Elation Health

Elation Health присоединяется к экосистеме плагинов OpenAI для здравоохранения, чтобы расширить возможности первичной медико-санитарной помощи за пределами клиник

Synopsys на выставке Supercomputing 2026
Synopsys

Synopsys на выставке Supercomputing 2026

Что такое суверенное облако: размещение данных, юрисдикционный контроль и операционный суверенитет
HCLTech

Что такое суверенное облако: размещение данных, юрисдикционный контроль и операционный суверенитет

Стратегия гибридного облака в эпоху ИИ: модернизация, суверенитет и устойчивость
HCLTech

Стратегия гибридного облака в эпоху ИИ: модернизация, суверенитет и устойчивость

Claude AI в маркетинге: как команды используют его вместе с HubSpot
Hubspot

Claude AI в маркетинге: как команды используют его вместе с HubSpot

Что такое «ядро цитирования»? Руководство по видимости в ИИ-поиске
Semrush

Что такое «ядро цитирования»? Руководство по видимости в ИИ-поиске

Ещё от Qdrant

Быстрый и более доступный поиск с Qdrant 1.20
Qdrant

Быстрый и более доступный поиск с Qdrant 1.20

Масштабируемый поиск по PDF с использованием Cohere Embed 5 и асимметричной квантизации в Qdrant
Qdrant

Масштабируемый поиск по PDF с использованием Cohere Embed 5 и асимметричной квантизации в Qdrant

Qdrant 1.20 — Улучшения полнотекстового поиска
Qdrant

Qdrant 1.20 — Улучшения полнотекстового поиска

UltraBERT умещает 32K токенов в один вектор. Конец разбиения на чанки?
Qdrant

UltraBERT умещает 32K токенов в один вектор. Конец разбиения на чанки?

Как Poliscope сделала всю местную политику Германии доступной для поиска на одном сервере с помощью Qdrant
Qdrant

Как Poliscope сделала всю местную политику Германии доступной для поиска на одном сервере с помощью Qdrant

Reachy вспоминает: наделяем робота локальной семантической памятью с помощью Qdrant Edge
Qdrant

Reachy вспоминает: наделяем робота локальной семантической памятью с помощью Qdrant Edge