Модель обнаружения объектов на дорогах, которая отлично работает в одном городе, может оказаться на 50% менее точной в другом.
Это был один из самых наглядных выводов по итогам 6-го трека 10-го конкурса AI City Challenge. Команды обучали модели обнаружения объектов на видеозаписях дорожного движения из одного города США, а затем их оценивали по скрытому эталонному набору данных, который включал европейский город — сценарий, к которому модели не были подготовлены.
При оценке на данных неизвестного города общая точность обнаружения снизилась на 43%. Для более мелких объектов, таких как пешеходы на расстоянии, велосипедисты и удаленные транспортные средства, падение составило 55%.
Для команд, создающих системы компьютерного зрения для реальных условий, этот вывод имеет большое значение: модель, которая хорошо работает в одной среде, скорее всего, будет вести себя иначе в другой.
Этот результат подчеркивает проблему, с которой сталкиваются многие команды разработчиков ИИ — необходимость доступа к реальным видеоданным для создания моделей, которые надежно работают в конкретных условиях и сценариях, где точность имеет решающее значение.
Почему данных из одного города недостаточно
Модели компьютерного зрения изучают визуальные закономерности, присутствующие в обучающих данных. В данных для обучения на видеозаписях дорожного движения это включает расположение камер, планировку дорог, состав транспортных средств, плотность движения, освещение, погоду и масштаб объектов. Когда вы меняете эти условия, производительность модели может измениться вместе с ними.
Представьте пешехода, переходящего широкую открытую площадь, которого снимает камера, установленная высоко на столбе. В этом ракурсе пешеход занимает большую, ничем не перекрытую часть кадра. А теперь представьте того же пешехода на более узкой улице, снятого с более низкой точки, где припаркованные автомобили перекрывают обзор камеры. В этом ракурсе пешеход выглядит меньше, частично скрыт и виден под другим углом. «Пешеход» по-прежнему остается тем же классом объектов, но визуальный контекст значительно изменился.
Вот почему модель, которая хорошо работает на данных, на которых она обучалась, не обязательно будет так же хорошо работать при изменении условий. Это особенно актуально для сферы дорожного движения и мобильности, где условия никогда не бывают идентичными в разных городах.
Но получить доступ к нужным данным для обучения специализированных моделей часто бывает сложно.
Hafnia предоставляет инфраструктуру и услуги, позволяющие использовать актуальные видеоданные из реального мира для разработки ИИ. Платформа помогает командам подготавливать данные для обучения моделей и предоставляет разработчикам управляемый способ обучения и оценки моделей на видеоматериалах, которые отражают условия среды, для которой они создаются.
Тест: обучение в одном городе, работа в двух
6-й трек был посвящен детальному обнаружению объектов в условиях, когда среда развертывания отличается от среды обучения. Задача состояла в том, чтобы создать модель, которая хорошо работает за пределами среды, представленной в доступных обучающих данных.
6-й трек был организован компанией Milestone через Hafnia совместно с NVIDIA и Автономным университетом Мадрида. На трек было подано 127 заявок, 100 участников были допущены, а 86 стали активными в ходе соревнования. Участники представляли 23 страны, 75 научно-исследовательских институтов и 17 компаний; всего в ходе конкурса было проведено 1926 экспериментов по обучению.
Участники обучались примерно на 13 000 кадров, содержащих около 150 000 аннотированных объектов. Задача включала 10 классов объектов, охватывающих людей, транспортные средства и других участников дорожного движения.
Скрытый эталонный набор данных включал информацию как из города в США, откуда были взяты обучающие данные, так и из второго европейского города с другими визуальными и географическими характеристиками. Итоговый рейтинг основывался на результатах работы на полном эталонном наборе.
Результат: география изменила производительность модели
В контрольной оценке общая эффективность обнаружения снизилась на 43%, когда модели переносились в географически другие города. Эффективность обнаружения мелких объектов упала на 55%.
Разрыв в производительности был заметен по всем метрикам. Обнаружение мелких объектов показало наибольшее снижение, в то время как обнаружение крупных объектов также существенно ухудшилось.
Это показывает, что дело не в особенностях двух конкретных городов. Дело в том, что модель так и не научилась справляться с условиями, выходящими за рамки ее обучающих данных.
Участники сообщили о той же закономерности. Несколько команд обнаружили, что улучшения на доступных обучающих данных не привели к лучшим результатам на скрытом эталонном наборе.
«Самой большой технической проблемой для нас стало снижение производительности, которое происходило при переносе наших моделей из обучающего домена в скрытый целевой домен. Было трудно определить, насколько хорошо модель будет обобщать данные, которые она ранее не видела, и улучшения на доступных обучающих или валидационных данных не всегда приводили к повышению производительности на скрытом домене».
Школа оптики и фотоники, Пекинский технологический институт
Командам разработчиков ИИ, создающим промышленные системы, стоит принять к сведению: производительность на одном наборе данных может скрывать слабые места, которые проявляются только тогда, когда меняются география, инфраструктура и условия съемки.
Как модель «обучение как услуга» (Training-as-a-service) помогла в проведении конкурса
Сервис Hafnia Training-as-a-Service предоставил управляемую среду, которую участники 6-го трека использовали для обучения на данных конкурса.
Вместо того чтобы загружать полный набор данных, участники упаковывали свои модели, код обучения, конфигурации и зависимости в «тренер», который запускался внутри среды Hafnia.
Это позволило внешним командам дообучать свои модели на реальных видеоданных, не получая прямого доступа к исходному набору данных. Для участников это означало, что они могли обучаться на данных, к которым у них иначе не было бы доступа, без необходимости самостоятельно искать, передавать или управлять ими.
Hafnia предлагает растущую библиотеку видеоданных из реального мира, а также инфраструктуру для их курирования, анонимизации, обучения и оценки.
Что дальше
AI City Challenge продолжится на конференции ECCV 2026 в Мальмё, где команды-участники представят свои работы и поделятся уроками, извлеченными из 6-го трека. Milestone Hafnia также будет присутствовать там, чтобы рассказать больше о конкурсе и работе, ведущейся на платформе.
Эти результаты служат полезным напоминанием для разработчиков компьютерного зрения при переходе от разработки к развертыванию: модели работают лучше всего, когда они обучены и оценены на данных, отражающих условия, в которых им предстоит работать.
Вы создаете модели компьютерного зрения для реального развертывания?
Свяжитесь с командой Hafnia, чтобы узнать о сервисе Training-as-a-Service и получить ранний доступ к платформе.
