Давайте познакомимся с Линшо!
Линшо, что бы вы хотели рассказать о себе?
Линшо: Я студент в лаборатории Рио Йокоты в Токийском технологическом институте. Основная тема лаборатории — высокопроизводительные вычисления с использованием передовых архитектур, включая GPU. Мы также занимаемся глубоким обучением как одним из направлений его применения. Я также стажер в Future Inc., где работаю над задачей OCR.
Был ли у вас какой-либо предыдущий опыт или знания в предметной области, которые помогли вам добиться успеха в этом соревновании?
Опыт работы над задачами OCR в качестве стажера стал для меня большим преимуществом. Легкость, с которой я смог выполнить предварительную обработку данных и создать модели, — это заслуга моего стажерского опыта. Я никогда не специализировался на Few-Shot Learning (обучении на малом количестве примеров), что стало основным фактором высоких баллов у лучших команд в этот раз. Однако я думаю, что мои знания статьи, которой поделились в лаборатории, сыграли большую роль.
Давайте перейдем к более техническим вопросам
Помогли ли вам в выборе подхода какие-либо прошлые исследования или предыдущие соревнования?
Размышляя над подходом, я просмотрел обсуждения на Kaggle, которые были представлены here здесь.
Кроме того, я часто обращался к Science Direct и другим ресурсам для реализации Few-Shot Learning.
Выполняли ли вы какую-либо предварительную обработку?
Никакой предварительной обработки, такой как обрезка или шумоподавление, с изображениями не проводилось. Эти процессы не улучшали точность распознавания, а скорее имели тенденцию к уменьшению объема необходимой информации. Недостатки обрезки области, меньшей, чем требуемая область символа, и стирания лишних символов значительно перевешивают преимущества получения «чистых» входных данных.
Какое ваше самое важное озарение относительно данных?
Самой важной задачей была не классификация трех типов компонентов как таковая, а создание модели, способной распознавать классы, которые не были заданы изначально. Классификация на три типа компонентов была лишь подсказкой для решения этой основной задачи. Это не значит, что разделение на компоненты, определенные вручную, является правильным. Абстрагирование структур, которые могут появиться в символе, с большей вероятностью улучшит точность классификации неизвестных классов.
В этот раз я использовал метод генерации символов шрифтовых изображений из рукописных символов. Эта генеративная модель основана на модели стиля и преобразования стиля под названием CycleGAN. Серию моделей, вплоть до модели классификации шрифтовых изображений, подключенную к этой генеративной модели, можно рассматривать как модель классификации рукописных символов. В таком представлении шрифт, созданный генеративной моделью, можно считать признаком промежуточного слоя этой серии моделей классификации рукописного текста.
Весьма вероятно, что каждый пиксель шрифтового изображения, являющийся промежуточным признаком, сформировал структуру шрифтового изображения, наблюдая за относительно узкой частью рукописного текста. Это можно рассматривать как генерацию признаков более абстрактной структуры символа. Я думаю, что возможность построить эту систему стала самым важным фактором в моем подходе.
Нажмите Enter или кликните, чтобы просмотреть изображение в полном размере
Какие инструменты вы использовали?
Я использовал Pytorch в качестве фреймворка для глубокого обучения и Jupyter Notebook в качестве IDE.
Что насчет вашего аппаратного обеспечения?
Я использую несколько серверов, на которых установлено 4 Tesla V100.
Каково было время выполнения вашего победного решения?
CycleGAN требует следующего времени:
Время обучения: 4 Tesla V100, 2,5 дня
Время предсказания: 40 мин x 2 (ансамбль из 2 моделей)
Помимо этого, потребовалось некоторое время на работу над обычными моделями классификации классов и так далее.
Мудрые слова
Хорошо, вынесли ли вы что-то новое для себя в результате этого соревнования?
Я приобрел новые навыки, которые позволят последовательно подходить к будущим задачам.
Какой совет вы дадите тем, кто только начинает заниматься наукой о данных?
Здравый смысл гроссмейстера (или то, что кажется наиболее очевидным) не всегда является лучшим способом победить.
Просто для развлечения
Если бы вы могли провести соревнование на Kaggle, какую задачу вы бы предложили другим каглерам?
Я бы хотел предложить более практичный OCR, то есть задачу, которая оценивается комплексно (end-to-end) от обнаружения рукописного текста до его распознавания. (Например, что-то, направленное на транскрибирование и оцифровку рукописных заметок). Мне кажется, что универсальный метод обнаружения еще не установлен, несмотря на достаточную точность распознавания. Однако в области обнаружения объектов (Object Detection) рассматривается довольно много разнообразных методов, и я думаю, что есть большие надежды на активное обсуждение и развитие.
Линшо Каку — магистрант Токийского технологического института, научный руководитель — Рио Йокота. Его научные интересы включают глубокое обучение, обработку изображений и оптическое распознавание символов.
Линшо Каку — магистрант Токийского технологического института, научный руководитель — Рио Йокота. Его научные интересы включают глубокое обучение, обработку изображений и оптическое распознавание символов.
