Райан Ханзакер — учитель для учащихся с нарушениями зрения в округе школ Дэвиса, одном из крупнейших школьных округов Юты. Он обучает слепых и слабовидящих учеников навыкам, необходимым для успеха в школе, таким как чтение и письмо шрифтом Брайля, работа с абакусом и экранными читателями. Его обязанности также включают уникальную задачу — создание материалов для обучения своих учеников. Будучи сертифицированным транскрибером шрифта Брайля, он создает транскрипции Объединенного английского шрифта Брайля, математические коды UEB и Немета, музыкальный шрифт Брайля и тактильные графики, среди прочих форматов.
Главный специалист округа по транскрипции STEM
Несколько лет назад Райан стал главным специалистом округа по транскрипции STEM. Две причины создают срочность ситуации. Ученики переезжают в округ в середине года и нуждаются в математических материалах, а очередь государственного агентства не может их предоставить вовремя. Разработанные округом учебные программы по математике и естественным наукам также часто становятся доступными только после истечения сроков их представления в штат.
Сегодня он поддерживает около 120 учеников в год. Из них самая сложная работа в области STEM сосредоточена среди 10–15 учеников. Один 500-страничный учебник может равняться 1500–1600 страницам шрифта Брайля.
«У меня есть юридическое обязательство соблюдать политику нулевого отказа. Это просто должно произойти». — Райан Ханзакер, учитель для учащихся с нарушениями зрения, округ школ Дэвиса
«У меня есть юридическое обязательство соблюдать политику нулевого отказа. Это просто должно произойти». — Райан Ханзакер, учитель для учащихся с нарушениями зрения, округ школ Дэвиса
Недавно longtime коллега, который занимался транскрипцией английского языка и общественных наук, ушел на пенсию, что означало, что еще больше этой нагрузки перешло к нему.
Проблема: OCR, который сохраняет математику
Учитывая приближающиеся сроки и ежегодную задержку с большим количеством документов, OCR имеет решающее значение для завершения транскрипций до начала учебного года. Его процесс разработан так, чтобы минимизировать время контроля качества путем подачи markdown с встроенным LaTeX в pandoc и далее в его инструменты для работы с шрифтом Брайля.
В течение многих лет он пытался найти инструмент, который бы одновременно распознавал математику и сохранял порядок чтения. MathPix нарушал порядок чтения, пропуская три-пять абзацев, затем возвращая их обратно и автоматически пере нумеруя списки, так что он не мог отследить, куда они пропали. Он скрывал матрицы в виде таблиц значений между двумя изображениями скобок и полностью пропускал некоторые уравнения, рассматривая их как изображения.
Он также попробовал Adobe Acrobat, но обнаружил, что он вводил поток ошибок 1-for-L, 3-for-E и 3-for-B без точности уравнений.
Его поиски также были ограничены требованиями конфиденциальности. Для некоторых издателей учебников и оценочных материалов он юридически обязан уничтожить бумажную копию и подтвердить в письменной форме, что он никогда не загружал ее никуда. Учительские материалы и информация о студентах должны были оставаться конфиденциальными. Его требования к конфиденциальности исключали любые не локальные инструменты.
«Если я не мог доказать, что ничего не осталось на удаленном сервере, я был безнадежен». — Райан Ханзакер
«Если я не мог доказать, что ничего не осталось на удаленном сервере, я был безнадежен». — Райан Ханзакер
Решение: Чандра
Опыт Райана в области нейронауки дает ему полезную философию: автоматизировать основную часть повторяющейся работы, а затем исправлять предсказуемые ошибки.
«Моя цель сейчас для любой трудоемкой задачи — найти способ заставить компьютер выполнять большую часть трудоемкой работы с точностью/качеством 90%+, а затем я вхожу и провожу контроль качества, чтобы достичь 100%-ного значения, которое требуется по природе моей работы. Я твердо уверен, что мне нужен 90%, потому что если он будет гораздо ниже, я потрачу слишком много времени на оценку проблем и потеряю преимущества во времени». — Райан Ханзакер
«Моя цель сейчас для любой трудоемкой задачи — найти способ заставить компьютер выполнять большую часть трудоемкой работы с точностью/качеством 90%+, а затем я вхожу и провожу контроль качества, чтобы достичь 100%-ного значения, которое требуется по природе моей работы. Я твердо уверен, что мне нужен 90%, потому что если он будет гораздо ниже, я потрачу слишком много времени на оценку проблем и потеряю преимущества во времени». — Райан Ханзакер
Первоначально он нашел Marker во время поиска в GitHub по запросам «математика в LaTeX» и «Math OCR». Позже он обнаружил Chandra почти случайно; это произошло, когда он решил переустановить Marker после того, как случайно стер свои данные с компьютера.
По сравнению с предыдущими инструментами, которые он тестировал, Marker был значительным улучшением; он давал предсказуемый результат и правильный порядок чтения. Чандра пошла еще дальше, улучшив обработку изображений и уравнений, а также чистоту markdown. Чандра также не использовала проверку орфографии для исправления опечаток при извлечении. Это важно для сохранения ошибок в написании в исходных документах — требование для любых материалов, предоставляемых студентам.
«Я загрузил старый документ в процесс генерации на datalab.to, и он дал мне 95% правильный результат. Я понял, сколько времени это мне сэкономит». — Райан Ханзакер
«Я загрузил старый документ в процесс генерации на datalab.to, и он дал мне 95% правильный результат. Я понял, сколько времени это мне сэкономит». — Райан Ханзакер
Результаты
Недавно на его столе появилось около 1800 страниц математики и естественных наук, и Чандра обработала эту партию без проблем. Порядок чтения был сохранен точно. В качестве бонуса она извлекла чистый текст из сложных областей, которые было трудно обнаружить своим глазом.
Рукописная биологическая рабочая тетрадь, обработанная Чандрой, рядом с оригиналом
Были редкие пробелы в выходных данных OCR, но они работали в его пользу. То, что возвращалось как ошибки, на самом деле были пропуски из-за отсутствия исходного материала, и модель не делала предположений.
На основе одного документа, измеренного по пятистраничной рабочей тетради по системам уравнений, Чандра экономит примерно 20 минут по сравнению с MathPix, 45 минут по сравнению с Adobe Acrobat и 55 минут по сравнению с MathKicker-AI. В целом по всему документу эффект умножения драматичен:
«Когда мне приходилось тратить час на исправление файла, прежде чем я мог загрузить его в свою программу для шрифта Брайля, теперь я могу потратить 5–10 минут только на проверку OCR. Это экономит мне буквально часы в день при работе с математикой и естественными науками». — Райан Ханзакер
«Когда мне приходилось тратить час на исправление файла, прежде чем я мог загрузить его в свою программу для шрифта Брайля, теперь я могу потратить 5–10 минут только на проверку OCR. Это экономит мне буквально часы в день при работе с математикой и естественными науками». — Райан Ханзакер
Поскольку Чандра работает полностью на его собственном оборудовании, проблема конфиденциальности просто исчезает, поскольку нет удаленного сервера, о котором нужно беспокоиться. Для материалов, которые он направляет через datalab.to, отчет Datalab SOC 2 Type 2 доступен для проверки его округа.
Однако изменение, к которому он постоянно возвращается, не является числом.
«Я могу быть гораздо более уверен, что когда я отправляю папку с файлами, они будут обработаны OCR так, что не дадут мне больше работы. Эта уверенность значительно снижает стресс». — Райан Ханзакер
«Я могу быть гораздо более уверен, что когда я отправляю папку с файлами, они будут обработаны OCR так, что не дадут мне больше работы. Эта уверенность значительно снижает стресс». — Райан Ханзакер
Или, как он говорит своим коллегам: «забавная часть работы — доставлять настоящую математику и науку в руки студентов вовремя» — теперь начинается на несколько часов раньше.
