19 октября 2026 г.
Представьте себе оживленный причал в крупном порту в любой точке мира. Большое морское судно готовится к дозаправке… но топливный шланг присоединен неправильно. Вместо того чтобы течь в судно, нефть выливается в воду. Прежде чем ее удается локализовать, пятно дрейфует вдоль причала, заставленного пришвартованными судами, и выходит в открытое море. Этот разлив нефти мешает судам покинуть порт, вызывает значительное загрязнение окружающей среды, а порту придется платить за его ликвидацию.
Могли ли камеры порта поднять тревогу раньше? Это вопрос, над которым совместно работают Порт Антверпен-Брюгге и Milestone Hafnia. Эта публикация — предварительный взгляд на нашу работу: что мы тестируем, в чем заключаются сложности, чему мы учимся и что ждет наше сотрудничество в будущем.
Чем раньше вы обнаружите проблему и примете меры, тем больше сможете ограничить ее последствия.
— Питер Ван Боувел, менеджер по данным и интеллектуальным системам, Порт Антверпен-Брюгге
Порт и проект
Порт Антверпен-Брюгге на севере Бельгии — второй по величине коммерческий порт Европы. Он соединяет Северное море с сердцем Европы. Ежегодно он обрабатывает сотни миллионов метрических тонн грузов, а через его доки, терминалы и водные пути проходят тысячи судов.
Hafnia, платформа визуального ИИ от Milestone Systems, сотрудничает с портом, чтобы выяснить, могут ли мультимодальные языковые модели (VLM) — ИИ-модели, способные обрабатывать видео и описывать происходящее простым языком, — поддерживать операции по обеспечению безопасности в такой большой и сложной среде. Это практическое сотрудничество: мы вместе тестируем идеи, учимся на результатах и делимся тем, что узнаем в процессе.
Вместе мы рассматриваем применение технологии VLM для различных задач в порту, включая:
- Проверку качества изображения с камер
- Объяснение предупреждений о безопасности на мостике
- Обнаружение разливов нефти
Эта публикация посвящена обнаружению разливов нефти, поскольку это исключительно сложная проблема, обладающая огромным потенциалом для получения преимуществ.
Почему разливы нефти — это «стресс-тест» для компьютерного зрения
Разливы нефти крайне трудно обнаружить с помощью технологий компьютерного зрения, потому что они редко выглядят одинаково. Их внешний вид меняется в зависимости от освещения, бликов, погоды, угла обзора камеры, типа нефти и положения солнца. Дополнительную сложность создает тот факт, что множество безобидных объектов на воде выглядят как нефть: ил, плавающий мусор, туман или отражения облаков. Это делает ложные срабатывания постоянной проблемой. Университеты и коммерческие эксперты годами работают над этой задачей, но высокоточное решение до сих пор не появилось.
Кроме того, существует проблема данных. К счастью, разливы нефти случаются редко, но это означает, что существует мало реальных видеозаписей, которые можно использовать для обучения моделей компьютерного зрения для более точной работы.
Развертывание агента визуального ИИ, обладающего контекстным пониманием, должно помочь предотвратить потенциальное воздействие на окружающую среду или дорогостоящие простои.
Обнаружение разливов нефти — это наш стресс-тест для компьютерного зрения. Если мы сможем заставить его работать надежно, многие другие сценарии использования станут значительно проще.
— Питер Ван Боувел, менеджер по данным и интеллектуальным системам, Порт Антверпен-Брюгге
Создание сцен, которых не существует
Нам нужны видеозаписи разливов нефти для обучения моделей, но такие кадры редки, а их воссоздание в реальном мире было бы экологической катастрофой. Здесь на помощь приходят синтетические данные. Команды Порта Антверпен-Брюгге и Hafnia используют анонимизированные кадры из порта, дополненные синтетическими последовательностями разливов нефти, созданными с помощью NVIDIA Cosmos.
Эти наборы синтетических данных позволяют Milestone Hafnia обучать и тестировать VLM на сложных случаях, таких как разливы нефти и объекты, похожие на них, которые вызывают ложные тревоги. На практике синтетические клипы оказались наиболее ценными в качестве стресс-теста. Команда намеренно создавала «ловушки»: расширяющиеся пятна грязи, спокойную воду с меняющимися отражениями, пену и след от винта, и даже отвлекающие факторы, такие как транспортные средства. Каждый из них проверяет, каким образом модель может быть обманута. Реальные кадры из порта остаются окончательным мерилом того, насколько хорошо работает модель.
Синтетические данные позволяют нам создавать сценарии, к которым мы должны быть готовы, но надеемся, что они никогда не произойдут. Поскольку мы генерируем их на основе реальных изображений из порта, они оптимизированы для условий, которые реально видят камеры порта.
— Бен Кэхилл, старший менеджер по взаимодействию, Milestone Hafnia
Слой раннего предупреждения, а не автопилот
Как и многие генеративные ИИ-продукты Milestone, эта VLM создана как слой раннего предупреждения, чтобы оповещать оперативные группы, когда требуется вмешательство.
Вот как это работает:
- Когда модель обнаруживает что-то, что может быть разливом, она простым текстом описывает то, что зафиксировала камера.
- Оператор может прочитать текстовое описание, которое включает местоположение и угол обзора камеры, и самостоятельно просмотреть видеозапись, чтобы подтвердить то, что обнаружила VLM.
- Затем они могут решить, достаточно ли серьезна ситуация, чтобы отправить кого-то на место происшествия или задействовать дрон для более надежного подтверждения.
Этот подход объединяет операционные знания порта и инфраструктуру камер с рабочими процессами визуального ИИ Hafnia.
Где мы находимся сегодня
Сотрудничество находится на ранней стадии, и первый раунд тестов на реальных кадрах с фиксированных камер и дронов порта уже многому нас научил. В тестах использовалась NVIDIA Cosmos 3 Super в качестве базовой мультимодальной языковой модели. Мы протестировали ее на 119 проверенных человеком 30-секундных клипах: 93 с разливами нефти из трех инцидентов и 26 с чистой водой, включая такие объекты, как следы от судов и поднятый ил.
Что работает:
- Одно предложение имело большое значение: объект, который больше всего беспокоил экспертов порта, — это грязь и песок, поднятые со дна гавани, которые могут окрашивать воду так же, как разлив. Решение оказалось удивительно простым: объяснить модели, что нефть выглядит глянцевой и зеркальной на поверхности, в то время как поднятый осадок выглядит матовым и непрозрачным. С этой подсказкой модель правильно отклонила все восемь шлейфов осадка на тестовых кадрах.
- Модель показывает ход своих рассуждений: вместо простого «да» или «нет» она объясняет, что видит, чтобы операторы могли быстро оценить, стоит ли действовать.
- Ответы последовательны: запуск каждого клипа шесть раз давал один и тот же вердикт каждый раз, что является важной основой для доверия.
Вот как модель описала один из клипов реального разлива в порту:
Поверхность воды демонстрирует отчетливый глянцевый, зеркальный блеск, который контрастирует с матовым, более темным видом окружающей воды. Это отражающее качество соответствует нефтяному пятну, а не поднятому осадку или грязи.
— Вывод NVIDIA Cosmos 3 Super, фиксированная камера на причале
Несколько вещей, над которыми мы все еще работаем:
- Спокойная вода, отражающая небо: в тихий день гавань может отражать небо с тем же глянцевым блеском, который помогает отличить нефть от грязи. Мы наблюдали эту путаницу как на реальных, так и на синтетических кадрах, что дает команде четкую, конкретную следующую проблему для решения.
- Слабые пятна вдали от камеры: когда тонкое пятно находится далеко от стационарной камеры, на изображении может просто не хватать детализации. Это ограничение разрешения камеры, а не понимания модели, и именно здесь на помощь приходят правильное размещение камер и дроны.
Что дальше
После многообещающего первого этапа следующим шагом станет сбор более широких доказательств. В течение предстоящего года мы продолжим работу над четырьмя сценариями использования совместно с Port of Antwerp-Bruges и будем сообщать о полученных результатах. Что касается разливов нефти, это означает тестирование модели на способность отличать блестящее пятно от спокойной водной глади, отражающей небо, а также проверку на большем количестве ракурсов камер и событий разлива.
Как сказал Питер Ван Бувел, обнаружение разливов нефти — это «стресс-тест» для компьютерного зрения. Своевременное обнаружение разлива — это не только техническое достижение, оно также ограничивает ущерб окружающей среде, обеспечивает движение судов и может сэкономить портам по всему миру миллионы на расходах по очистке. Каждый рано обнаруженный разлив — это меньший объем работ по очистке. И если эту проблему «стресс-теста» удастся решить, многие другие задачи компьютерного зрения станут достижимыми. Мы с нетерпением ждем продолжения сотрудничества с Port of Antwerp-Bruges и другими организациями по всему миру.
Создание надежных агентных систем ИИ требует инвестиций и тщательного тестирования, прежде чем что-либо будет готово к развертыванию. Port of Antwerp-Bruges предоставляет реальные операционные задачи и экспертные знания для оценки результатов; Milestone и NVIDIA предлагают рабочий процесс видеоаналитики на базе ИИ, созданный для генерации данных, а также быстрого тестирования и доработки идей. Вместе мы определяем, где эта технология может принести значимые изменения в работу портов.
— Сёрен Йенсен, директор по коммерческому развитию, Milestone Hafnia
/)
