olmOCR 2 — это открытая модель от Ai2 для извлечения доступного для поиска структурированного текста из изображений документов, включая рукописный ввод и сложные макеты. Ее веса, данные для дообучения и код позволяют исследователям запускать ее локально и адаптировать под свои исследовательские задачи.
Исследователи использовали olmOCR 2, чтобы сделать архивные фотобиблиотеки доступными для поиска и улучшить расшифровку рукописных археологических записей. ArtificeOCR использует olmOCR 2 на собственном компьютере историка Мориса Кейси для расшифровки его фотографий писем, газет и других источников по истории радикальной политики в Европе начала двадцатого века. CENTURIA адаптирует olmOCR 2 для расшифровки рукописных заметок, сопровождающих археологические зарисовки керамики из Карнунта, римского поселения на территории современной Австрии.
Поиск по архивам на локальном оборудовании
Морис Кейси, историк радикальной политики в Европе начала двадцатого века, работает с источниками на английском, русском и немецком языках. За годы исследований он собрал тысячи фотографий писем, газет и других документов, сделанных на разные смартфоны в различных условиях. Он хотел получить возможность выполнять поиск по коллекции по ключевым словам без необходимости загружать материалы, доверенные ему архивами и семьями, в сторонний сервис.
Кейси создал ArtificeOCR, инструмент, который связывает локально работающие визуально-языковые модели, такие как olmOCR 2, с Tropy — приложением с открытым исходным кодом, которое он использует для организации архивных фотографий. С помощью ArtificeOCR Кейси сделал свою существующую библиотеку Tropy доступной для поиска, сохранив при этом метаданные, которые он вводил с 2019 года.
Кейси считает olmOCR 2 особенно полезным для документов с разнообразной версткой, включая стандартизированные формы, с которыми он сталкивается в архивах секретной полиции. По его словам, модель справляется с такими макетами без необходимости предварительно подготавливать каждый формат документа. Он также отмечает отличные результаты при работе с рукописным английским текстом и машинописным шрифтом на всех языках своего исследования.
По опыту Кейси, языковая модель может выдавать правдоподобный, беглый текст там, где обычное OCR выдало бы очевидную белиберду. Он также отмечает ошибки, когда модель расшифровывает рукописный текст на языках, которые хуже представлены в ее обучающих данных. В ArtificeOCR исследователи могут сравнить скан с его расшифровкой, исправить любые ошибки и проверить изменения, внесенные на последующих этапах обработки.
«Точность по отношению к исходному материалу, включая отражение того, как люди в прошлом совершали ошибки или писали на кодовом или эвфемистическом языке, чрезвычайно важна для моей работы в качестве историка», — говорит он.
ArtificeOCR все еще находится на ранней стадии разработки. Кейси хочет создать интерфейсы, которые облегчат историкам использование локальных моделей, и видит потенциал в их дообучении для определенных типов источников.
Адаптация olmOCR 2 для рукописного археологического текста
Исследователи из Лаборатории компьютерного зрения Технического университета Вена и Австрийского археологического института при Австрийской академии наук изучили рукописные записи о керамике из Карнунта — римского поселения на территории современной Австрии. В ходе исследовательского проекта LEGION они проверили, может ли дообучение olmOCR 2 на небольшом наборе аннотированных примеров улучшить качество его расшифровки.
Их архив содержит около 70 000 записей о керамике. Рукописные заметки идентифицируют формы сосудов, контекст раскопок и другие детали, необходимые археологам для сравнения находок. Аннотации располагаются вокруг технических чертежей, иногда перекрывают их и используют сокращенную немецкую терминологию. Различия в почерке и правилах фиксации данных на протяжении десятилетий затрудняют точную расшифровку аннотаций.
Команда создала CENTURIA, бенчмарк из 507 аннотированных записей, для оценки расшифровки и извлечения структурированной информации. Среди пяти протестированных открытых моделей olmOCR 2 показала самую низкую погрешность расшифровки до адаптации. Доступ к ее весам означал, что ее также можно обучать на примерах из коллекции.
«Мы хотели, чтобы получившийся пайплайн был воспроизводимым и мог реалистично применяться организациями культурного наследия, у которых часто нет ресурсов на обработку десятков тысяч документов через коммерческие API», — пишут соавтор CENTURIA Доминик Хагманн и его коллеги.
Используя LoRA — метод, который обучает небольшой набор дополнительных параметров, исследователи дообучили olmOCR 2 на 57 записях. На оставшихся 450 тестовых записях ошибка расшифровки снизилась с 15,58% до 1,11%.
Следующая цель команды — применить этот подход не только к тестовому бенчмарку из 507 записей, но и ко всем примерно 70 000 записям о керамике в их архиве Карнунта. Создание полнотекстового поиска по всей коллекции может помочь археологам сравнивать формы керамики как в пределах самого памятника, так и между историческими периодами.
«Такие вопросы непрактичны, когда ваши данные хранятся на бумажных носителях в виде аннотаций. Как только у вас появляются структурированные записи с возможностью поиска по всей коллекции, они становятся вполне решаемыми», — пишут Хагманн и его коллеги.
Архивы имеют разные правила ведения записей и условия доступа. Имея в распоряжении веса и код olmOCR 2, исследователи могут выбирать, где ее запускать, и адаптировать ее под свои документы. ArtificeOCR и CENTURIA предлагают практические примеры того, как это сделать, одновременно интегрируя экспертную проверку в этот процесс.
«Возможность запускать модель локально была для меня самой важной частью во всем этом, — говорит Кейси. — Есть так много материалов, которые я просто не осмелился бы отправить третьей стороне».
