jinaai/jina-ocr-v1 · Hugging Face
Мы стремимся развивать и демократизировать искусственный интеллект с помощью открытого исходного кода и открытой науки.
jina-ocr-v1 - Search Foundation Models
Парсер документов «страница в Markdown» за один проход с 570 млн активных параметров
Search Foundation ModelsJina AI
Jina-OCR-v1: эффективный парсинг документов со спекулятивной декодировкой и плотными проверяемыми вознаграждениями
Мы представляем Jina-OCR-v1, модель для комплексного парсинга документов, созданную для работы на бюджетных GPU. Она сочетает в себе сжатый визуальный энкодер и 3-миллиардный декодер на основе смеси экспертов (MoE) от DeepSeek-OCR, который активирует около 570 млн параметров на токен, с головкой спекулятивной декодировки FastMTP, использующей один черновой блок рекурсивно для K=3 шагов предсказания. Жадная верификация делает декодирование без потерь. Пост-обучение объединяет выравнивание по инструкциям, дообучение на устойчивость к сложным документам и GRPO с использованием плотных проверяемых вознаграждений: детерминированных проверок формул, таблиц и структуры, которые начисляют частичные баллы. Обучающие данные смешивают очищенные публичные корпуса с целевыми синтетическими страницами. При стандартных настройках динамического разрешения Jina-OCR-v1 набирает 91,14 балла в OmniDocBench v1.6 и 83,4 балла в olmOCR-Bench, достигая самой высокой пропускной способности страниц в нашем сравнении — 2,57 страницы в секунду. На бюджетном GPU, таком как NVIDIA L4, FastMTP удваивает скорость декодирования по сравнению с жадным авторегрессионным декодированием. Модель доступна публично по адресу https://huggingface.co/jinaai/jina-ocr-v1.
arXiv.orgAlejandro Barón García
Мы выпускаем jina-ocr-v1, парсер документов с 3,4 млрд параметров и около 570 млн активных параметров декодера на токен. Он набирает 91,14 балла в OmniDocBench v1.6 и 83,4 балла в olmOCR-Bench, а при скорости 2,57 страницы в секунду обладает самой высокой пропускной способностью среди четырнадцати протестированных нами систем. На NVIDIA L4 его головка спекулятивной декодировки почти удваивает скорость декодирования, сохраняя его без потерь.
Модель построена на базе сжатого визуального энкодера и декодера на смеси экспертов от DeepSeek-OCR с двумя дополнениями. Черновая головка FastMTP применяет один блок рекурсивно для трех шагов предсказания, поэтому количество черновых параметров не растет с глубиной. Пост-обучение проводится с использованием плотных проверяемых вознаграждений, где каждая проверка представляет собой детерминированный код, сравниваемый с эталоном, и каждая проверка оценивается. По сравнению с базовой моделью, пост-обучение добавляет 7,4 балла в olmOCR-Bench и улучшает показатели по всем столбцам OmniDocBench.
Модель и обучение
Длинные выходные данные делают парсинг документов дорогостоящим в плане декодирования. DeepSeek-OCR устранил большую часть этих затрат с помощью сжатого визуального энкодера и компактного декодера на смеси экспертов, а jina-ocr-v1 наследует оба этих компонента и нацеливается на оставшееся авторегрессионное «бутылочное горлышко».
Вывод OCR почти детерминирован и локально структурирован, что делает его благоприятной рабочей нагрузкой для спекулятивной декодировки. Обычная конструкция предполагает наличие одной черновой головки на каждую глубину предсказания, поэтому количество черновых параметров растет по мере того, как далеко модель заглядывает вперед. FastMTP использует один плотный блок, применяемый рекурсивно для K = 3 шагов. Верификатор жадно проверяет каждое предложение и принимает самый длинный префикс, в котором черновик и верификатор согласны, поэтому зафиксированная последовательность совпадает с жадной последовательностью верификатора, а спекуляция меняет только время получения вывода.
Спецификация модели. Декодер выдает Markdown, таблицы в HTML, а формулы в LaTeX.
Обучающие данные взяты из публичных корпусов OCR, включая olmOCR-mix, FinePDFs, LightOnOCR, MMTab и UniMER, а также из специально отобранных сложных источников, таких как газеты Europeana, транскрипты Библиотеки Конгресса и пенсионные дела NARA. Фильтр на основе правил удаляет циклы дегенерации и дубликаты, а визуально-языковой проход переразмечает сложные источники. Мы также синтезируем страницы по одной конкретной причине: на естественных страницах компоненты вознаграждения за формулы и таблицы применяются к очень немногим образцам, поэтому большинство прогонов не несут структурного сигнала. JinaOCRSynth наполняет каждую страницу оцениваемыми формулами и таблицами и поставляется вместе с модульными тестами.
Пост-обучение включает контролируемое выравнивание, дообучение на устойчивость к деградировавшим страницам и GRPO, повторяемые в циклах внешнего контура. Вознаграждение GRPO представляет собой произведение проверяемых условий, каждое из которых вычисляется детерминированным кодом относительно эталонной транскрипции.
Мультипликативная композиция вознаграждений. Большинство условий имеют нижний порог, так как при произведении одна неудачная проверка удалила бы градиент из в остальном правильной страницы. Условие повторения не имеет порога, поскольку дегенеративные циклы — это тип сбоя, который легче всего завышает оценку контента.
Каждый раунд оставляет пул кандидатов-чекпоинтов. Агент ищет конфигурации слияния при фиксированном бюджете оценки и оценивает их с помощью модульных тестов и проверок расстояния редактирования, а ошибки в выбранном слиянии определяют следующий раунд сбора данных. Черновая головка подбирается в последнюю очередь, на верификаторе, выбранном циклом.
Результаты
olmOCR-Bench. jina-ocr-v1 достигает 83,4 балла в общем зачете, что на 7,4 балла выше, чем у базовой модели DeepSeek-OCR, на которой проводилось пост-обучение, и опережает 8B olmOCR-2. Столбец Hdr/Ftr проверяет отсутствие текста и поощряет исключение колонтитулов, поэтому точная транскрипция всей страницы получает там низкие баллы.
OmniDocBench v1.6. jina-ocr-v1 достигает 91,14 балла при 570 млн активных параметров, опережая DeepSeek-OCR-2 по всем столбцам и обходя значительно более крупную Qwen3-VL-235B.
Спекулятивная декодировка на L4
FastMTP на olmOCR-Bench, NVIDIA L4, vLLM 0.20.1, размер батча 1. τ — среднее количество токенов, зафиксированных за один спекулятивный шаг, включая бонусный токен, а c = τ/S — стоимость одного спекулятивного шага в единицах одного авторегрессионного шага. Измерено на другом устройстве, отличном от приведенных выше цифр.
Качество черновика не зависит от режима выполнения, так как τ составляет 2,73 в режиме eager и 2,74 при использовании CUDA-графов при k = 3. Базовая модель зависит. CUDA-графы повышают скорость авторегрессионного декодирования с 42,7 до 158,3 токенов в секунду, в то время как накладные расходы на спекулятивный шаг остаются около 9 мс, поэтому его стоимость возрастает с 1,40 до 2,51 авторегрессионного шага. Прирост отслеживает стоимость шага верификатора, который он заменяет, что делает оптимальной глубину k = 3 в режиме eager и k = 1 при использовании графов.
Начало работы
Самый быстрый способ запустить модель — Jina Reader. Укажите URL для r.jina.ai и добавьте один заголовок: Reader извлекает страницу или PDF, рендерит их, запускает jina-ocr-v1 для результата и возвращает Markdown. Ничего не нужно развертывать, не нужно писать код для обработки изображений, и используется тот же API-ключ, что и для остальной платформы.
Добавьте X-Page, чтобы транскрибировать одну страницу многостраничного документа. Оба параметра есть в редакторе Reader API, где переключатель сам запишет заголовок за вас.
Для прямого доступа к модели хостинговый эндпоинт совместим с OpenAI и требует только API-ключ от jina.ai.
Document OCR - Jina AI
Превращайте отсканированные страницы, фотографии или PDF в чистый Markdown, включая таблицы и уравнения.
Jina AI
Мы подготовили демо для вас, чтобы вы могли оценить работу.
Чтобы развернуть модель самостоятельно, веса и пользовательский код моделирования поставляются в одном репозитории Hugging Face, который загружается с trust_remote_code=True. FastMTP требует vLLM 0.21 или новее и однократную регистрацию архитектуры перед запуском движка.
Одна деталь определяет, появится ли ускорение. Вспомогательный модуль регистрирует «голову» (head) с помощью метода method="eagle", поскольку FastMTP обучается с использованием рекурсивной обратной связи по скрытому состоянию, а метод по умолчанию method="mtp" переосновывает каждый шаг черновика на целевом значении. Путь Transformers запускает только декодер MoE и игнорирует веса MTP.
Модель также справляется с транскрипцией таблиц и формул на уровне элементов, созданием подписей, ответами на вопросы по документам (VQA) и извлечением ключевой информации на английском и китайском языках. Веса выпущены под лицензией CC BY-NC 4.0.
Заключение
Имея 570 млн активных параметров, jina-ocr-v1 находится на границе точности на параметр в обоих бенчмарках и обладает самой высокой пропускной способностью страниц среди измеренных нами систем. Эту работу выполняют два рычага, и ни один из них не требует увеличения модели: градуированное вознаграждение за каждую проверяемую отметку и «голова» черновика, обученная с использованием финального верификатора.
Длину вывода стоит рассмотреть внимательнее. Пропускная способность токенов и пропускная способность страниц ранжируют системы по-разному, а длина вывода не зависит от качества парсинга, поэтому лаконичность можно оптимизировать отдельно. jina-ocr-v1 имеет самые короткие выходные данные среди всех систем с результатом выше 83.
