Райан Хансейкер — учитель для слабовидящих и незрячих учеников в школьном округе Davis, одном из крупнейших школьных округов Юты. Он обучает незрячих и слабовидящих учеников навыкам, необходимым для успешной учебы, таким как чтение и письмо по Брайлю, работа со счетами и программами экранного доступа. Его роль также включает уникальную задачу: создание учебных материалов для своих подопечных. Как сертифицированный специалист по переводу на шрифт Брайля, он создает транскрипции на унифицированном английском шрифте Брайля (UEB), математические коды Nemeth, нотные записи по Брайлю, тактильную графику и другие форматы.
Выбор округа для STEM-транскрипции
Несколько лет назад Райан стал основным специалистом в своем округе по транскрипции STEM-материалов. Эту необходимость диктуют два фактора. Ученики переходят в округ в середине года, нуждаясь в учебных материалах по математике, а государственное агентство не успевает их подготовить вовремя. Кроме того, учебные программы по математике и естественным наукам, созданные в округе, часто становятся доступными только после истечения сроков подачи заявок в государственные органы.
Сегодня он поддерживает около 120 учеников в год. Из них самая сложная работа по STEM сосредоточена на 10-15 учениках. Один 500-страничный учебник может превратиться в 1500-1600 страниц шрифта Брайля.
«У меня есть юридическое обязательство придерживаться политики отказа от отказов. Это просто должно быть сделано». — Райан Хансейкер, учитель для слабовидящих и незрячих учеников, школьный округ Davis.
«У меня есть юридическое обязательство придерживаться политики отказа от отказов. Это просто должно быть сделано». — Райан Хансейкер, учитель для слабовидящих и незрячих учеников, школьный округ Davis.
Недавно его давний коллега, занимавшийся транскрипцией английского языка и социальных наук, вышел на пенсию, что означало, что еще большая часть этой нагрузки легла на него.
Задача: OCR, сохраняющее математические формулы
Учитывая надвигающиеся сроки и большой объем накопившихся документов каждый год, OCR играет решающую роль в завершении транскрипций до начала учебного года. Его рабочий процесс разработан так, чтобы минимизировать время на контроль качества путем подачи Markdown с встроенным LaTeX в pandoc, а затем в инструменты для работы со шрифтом Брайля.
В течение многих лет он пытался найти инструмент, который одновременно распознавал бы математические формулы и сохранял порядок чтения. MathPix нарушал порядок чтения, пропуская от трех до пяти абзацев, а затем вставляя их обратно и автоматически перенумеровывая списки, из-за чего он не мог отследить, куда они делись. Он превращал матрицы в таблицы значений между двумя изображениями скобок и полностью пропускал некоторые уравнения, воспринимая их как картинки.
Он также пробовал Adobe Acrobat, но обнаружил, что тот вносит поток ошибок, заменяя символы (1 на L, 3 на E, 3 на B) без сохранения точности уравнений.
Его поиск также был ограничен требованиями конфиденциальности. Для некоторых издателей учебников и оценочных материалов он по закону обязан уничтожить печатную копию и письменно подтвердить, что нигде ее не загружал. Материалы, созданные учителями, и информация об учениках должны были оставаться конфиденциальными. Его требования к конфиденциальности исключали любые нелокальные инструменты.
«Если я не мог доказать, что на удаленном сервере ничего не осталось, мне не везло». — Райан Хансейкер
«Если я не мог доказать, что на удаленном сервере ничего не осталось, мне не везло». — Райан Хансейкер
Решение: Chandra
Опыт Райана в академической нейронауке привносит полезную философию: автоматизировать основную часть повторяющейся работы, а затем исправлять предсказуемые ошибки.
«Моя цель сейчас для любой трудоемкой задачи — найти способ заставить компьютер выполнять большую часть работы, требующей много времени, с точностью/достоверностью 90%+, а затем я прихожу и провожу контроль качества, чтобы достичь 100%, что требуется характером моей работы. Я твердо убежден, что мне нужны эти 90%, потому что если точность намного ниже, я трачу слишком много времени на оценку проблем и теряю выгоду во времени». — Райан Хансейкер
«Моя цель сейчас для любой трудоемкой задачи — найти способ заставить компьютер выполнять большую часть работы, требующей много времени, с точностью/достоверностью 90%+, а затем я прихожу и провожу контроль качества, чтобы достичь 100%, что требуется характером моей работы. Я твердо убежден, что мне нужны эти 90%, потому что если точность намного ниже, я трачу слишком много времени на оценку проблем и теряю выгоду во времени». — Райан Хансейкер
Изначально он нашел Marker во время поиска на GitHub по запросам «math to LaTeX» и «Math OCR». Позже он обнаружил Chandra почти случайно; она появилась, когда он переустанавливал Marker после случайного удаления данных на компьютере.
По сравнению с предыдущими протестированными инструментами, Marker был значительным улучшением; он давал предсказуемый результат и правильный порядок чтения. Chandra пошла еще дальше, улучшив обработку изображений и уравнений, а также чистоту Markdown. Chandra также не использовала проверку орфографии для исправления опечаток при извлечении. Это важно для сохранения ошибок в исходных документах — требование для любых материалов, предоставляемых ученикам.
«Я загрузил старый документ в конвейер генерации на datalab.to, и он выдал мне 95% правильного вывода. Я понял, сколько времени это мне сэкономит». — Райан Хансейкер
«Я загрузил старый документ в конвейер генерации на datalab.to, и он выдал мне 95% правильного вывода. Я понял, сколько времени это мне сэкономит». — Райан Хансейкер
Результаты
Недавно на его стол попало около 1800 страниц по математике и естественным наукам, и Chandra справилась с этой партией без происшествий. Порядок чтения был сохранен точно. В качестве бонуса она извлекла чистый текст из сложных областей, которые было трудно распознать невооруженным глазом.
Рукописный рабочий лист по биологии, обработанный Chandra, рядом с оригиналом
В выводе OCR были редкие пробелы, но они сыграли ему на руку. То, что выглядело как ошибки, на самом деле было пропусками из-за отсутствия исходного материала, и модель не пыталась угадать.
В расчете на один документ, по сравнению с пятистраничным рабочим листом по системам уравнений, Chandra экономит около 20 минут по сравнению с MathPix, 45 минут по сравнению с Adobe Acrobat и 55 минут по сравнению с MathKicker-AI. В масштабах полного документа эффект накопления становится драматическим:
«Когда мне приходилось тратить час на исправление файла, прежде чем я мог загрузить его в свою программу для шрифта Брайля, теперь я могу потратить 5-10 минут просто на проверку OCR. Это экономит мне буквально часы в день при работе с математикой и естественными науками». — Райан Хансейкер
«Когда мне приходилось тратить час на исправление файла, прежде чем я мог загрузить его в свою программу для шрифта Брайля, теперь я могу потратить 5-10 минут просто на проверку OCR. Это экономит мне буквально часы в день при работе с математикой и естественными науками». — Райан Хансейкер
Поскольку Chandra работает полностью на его собственном оборудовании, проблема конфиденциальности просто исчезает, так как нет удаленного сервера, за который нужно отчитываться. Для материалов, которые он все же направляет через datalab.to, доступен отчет Datalab SOC 2 Type 2 для поддержки проверки его округа.
Однако изменение, к которому он постоянно возвращается, — это не цифры.
«Я могу быть гораздо более уверенным в том, что когда я отправляю папку с файлами, она будет распознана так, что у меня не прибавится работы. Эта уверенность — огромное снижение стресса». — Райан Хансейкер
«Я могу быть гораздо более уверенным в том, что когда я отправляю папку с файлами, она будет распознана так, что у меня не прибавится работы. Эта уверенность — огромное снижение стресса». — Райан Хансейкер
Или, как он говорит своим коллегам: самая интересная часть работы — дать студентам возможность вовремя прикоснуться к настоящей математике и науке — теперь начинается на несколько часов раньше.