Когда мы выпустили Molmo 2, нашу открытую модель «зрение-язык» для работы с изображениями и видео, мы сделали саму модель, код и обучающие данные общедоступными, чтобы исследователи могли изучить ее устройство и настроить ее под свои задачи. Molmo 2 способна следить за определенной фигурой или объектом по мере их перемещения в видео, идентифицировать объект по текстовому описанию (например, «вторая машина, пересекшая финишную прямую») и делать выводы о событиях во времени. Открытый доступ к модели и лежащим в ее основе ресурсам дает исследователям отправную точку для применения этих возможностей к новым задачам.
Кай Ван Брант, выпускник MIT 2025 года, специализируется на компьютерном зрение для экологии. Он работал над этим проектом в качестве приглашенного студента в лаборатории BeeryLab в MIT под руководством Сары Бири, профессора Карла А. Барнелла по развитию карьеры и доцента кафедры электротехники и компьютерных наук в MIT.
Исследование Ван Бранта посвящено поиску более эффективных способов подсчета лосося по подводным видеозаписям гидролокатора. Такие данные помогают исследователям понять, как меняются популяции лосося, а также служат основой для природоохранных мероприятий и управления рыболовством. Отслеживание отдельных рыб на видеозаписях имеет ключевое значение для получения точных данных, однако выполнение этой задачи вручную требует много времени.
Компьютерное зрение способно сократить объем видеоматериалов, которые исследователям приходится просматривать вручную. Тем не менее, системы отслеживания по-прежнему совершают ошибки. Они могут терять рыбу из виду, «забывать», где какая рыба находится, или переключаться с преследования одной рыбы на другую. Исправление подобных ошибок может потребовать ручной корректировки предсказаний на множестве кадров записи.
Ван Брант задался вопросом, может ли исследователь вместо этого описать характер ошибки в предсказании трекинга рыбы и попросить модель автоматически исправить ее.
Эта идея легла в основу Molmo2Fish — версии Molmo 2, адаптированной для отслеживания лосося на данных гидролокатора и корректировки своих предсказаний на основе повседневного языка.
«Мне нужно было задействовать открытую модель, которая уже понимала язык, пространственно-временные отношения и трекинг в видео, причем достаточно компактную, чтобы я мог попробовать ее дообучить», — говорит Ван Брант. — «Molmo 2 оказалась с большим отрывом самой подходящей моделью из всех, что я нашел».
Опираясь на то, что Molmo 2 уже умела
Данные гидролокатора сильно отличаются от видео, на которых изначально обучалась Molmo 2. Тем не менее, Molmo 2 уже умела отслеживать определенную цель в видео и использовать язык (например, «собака, которая кусает джинсы»), чтобы идентифицировать нужный объект с течением времени.
Ван Брант заметил, что наблюдение за движением рыб облегчает их распознавание по сравнению с просмотром отдельного кадра. Он протестировал несколько моделей обнаружения объектов на видео, но ни одна из них не превзошла базовый показатель для статичных изображений. Molmo 2 могла обрабатывать клип целиком и напрямую выдавать траектории, что позволяло проводить обучение задаче трекинга без отдельного шага детектирования.
«Molmo 2 стала первой использованной нами моделью, которая позволила рассматривать многообъектный трекинг как задачу, которой модель может обучиться напрямую», — отмечает Ван Брант.
Ван Брант смог адаптировать Molmo 2 под данные гидролокатора, а не разрабатывать новую систему с нуля. После дообучения на видео с лососем Molmo2Fish работала примерно так же успешно, как и специализированная система трекинга рыб до получения каких-либо исправлений, причем результаты различались в зависимости от реки.
Затем он обучил Molmo2Fish реагировать на указание пользователя на ошибку. Модели демонстрировались примеры исходного предсказания, инструкция с описанием того, как его следует изменить, и исправленный результат.
Исследователь мог сообщить Molmo2Fish, что она пропустила рыбу или приняла двух разных рыб за одну, а затем попросить модель автоматически исправить предсказание.
Это давало особенно хорошие результаты, когда в Molmo2Fish загружались предсказания обычной системы трекинга рыб. Molmo2Fish и традиционная система склонны совершать ошибки разного рода, поэтому Molmo2Fish могла исправить некоторые недочеты, допущенные другой системой.
Эксперименты также продемонстрировали ограничения коррекции на основе языка. Molmo2Fish могла исправлять некоторые ошибки трекинга при получении четких инструкций, однако ей было сложнее улучшать собственные наиболее уверенные предсказания. По словам Ван Бранта, Molmo2Fish — это лишь первый шаг к созданию модели, достаточно надежной для реального применения. Проект остается исследовательской разработкой и пока не внедрен в практику.
Что стало возможным благодаря открытому релизу
Открытый релиз Molmo 2 предоставил Ван Бранту доступ к модели, коду и обучающим данным, на основе которых были реализованы нужные ему функции. В конечном итоге он не стал использовать оригинальные обучающие данные Molmo 2 для создания Molmo2Fish, но возможность их изучить помогла ему понять, чему модель уже научилась, и определиться с подготовкой собственных данных. Доступ к коду также облегчил адаптацию Molmo 2 под совершенно иной тип видеомодальности.
Теперь Ван Брант хочет изучить, как модели, работающие одновременно с видео и языком (такие как Molmo 2), могут помочь ученым находить и описывать закономерности по мере изменения их исследовательских задач. Открытые релизы создают возможности для подобных экспериментов: исследователи могут переносить существующие возможности в новые области, проверять, что работает, и двигаться дальше.
«В широком смысле я хочу продолжать изучение обучения на видеоданных и использовать ИИ для понимания и защиты природного мира», — говорит Ван Брант.
