🤗 Модели | 📄 Технический отчет | 📊 Data | 💻 Code | 🌎 Проводник эмбеддингов | 🗺️ Интерактивная история
Сегодня мы выпускаем OlmoEarth v1.3 — передовую модель спутниковых эмбеддингов. Вместе с OlmoEarth v1.3 мы делимся предварительно вычисленными годовыми эмбеддингами для всей планеты (размерностью 10 м, 64 и 128 измерений), а также новым инструментом на базе браузера для исследования и настройки карт на основе этих эмбеддингов — OlmoEarth Embeddings Explorer. Это означает, что любой желающий может сразу же начать использовать OlmoEarth v1.3 в работе: от отслеживания изменений во времени до поиска похожих мест — без входа в систему и без необходимости обладать продвинутыми техническими знаниями.
До сих пор основным способом использования OlmoEarth была дообучение (fine-tuning) в OlmoEarth Studio: обучение модели для каждой отдельной задачи и ее запуск на спутниковых imagery данных для создания карты. Для этого требуется доступ к графическим процессорам (GPU), а также возможность скачивать и хранить изображения. Модели эмбеддингов сжимают спутниковые данные в готовые к использованию признаки, которые можно недорого применять повторно для решения множества задач.
Мы рады предложить пользователям OlmoEarth v1.3 новые возможности для изучения планетарных данных и взаимодействия с ними наиболее удобным для них способом.
Вычислить один раз, использовать везде
Эмбеддинг представляет собой то, чему модель научилась на миллионах изображений. OlmoEarth v1.3 считывает годовые временные ряды радиолокационных (Sentinel-1) и многоспектральных (Sentinel-2 и Landsat) спутниковых данных и создает один 128-мерный вектор для каждого 10-метрового пикселя на Земле; первые 64 измерения также могут работать самостоятельно в качестве эмбеддинга меньшего размера.
Базовые модели и глобальные эмбеддинги требуют больших затрат на создание, и чтобы каждый мог воспользоваться их преимуществами, мы вычислили эти эмбеддинги для всей планеты и поделились ими с сообществом на Source Cooperative. С их помощью создание карты сельскохозяйственных культур, карты земного покрова или анализ изменений превращаются в простую задачу моделирования: обучите небольшой классификатор поверх них и запустите его локально.
Как OlmoEarth v1.3 создает эмбеддинг: визуальный трансформер (vision transformer) считывает спутниковые данные, пуллер внимания (Attention Pooler) объединяет их в один вектор для каждого участка земли, а линейный слой сокращает его до 128 чисел.
Передовые эмбеддинги
Мы оценили эмбеддинги OlmoEarth v1.3 в сравнении с AlphaEarth Foundations (AEF) и Tessera v2 по 27 критериям, охватывающим шесть континентов и множество различных задач. 128-мерные эмбеддинги OlmoEarth показывают самые высокие результаты в 20 из 27 тестов и занимают первое место в общем зачете. Версия с 64 измерениями, имеющая половинный размер, по-прежнему лидирует в 18 из 27 тестов. В рамках этой оценки мы представляем PLANTEUR, новый бенчмарк типов культур для тропического земледелия, причем эмбеддинги лучше всего генерализуются на те места, которые классификатор никогда раньше не видел (технический отчет PLANTEUR доступен here). Все составляющие модели полностью открыты: веса модели, данные предварительного обучения и код предварительного обучения.
На практике это означает, что небольшого классификатора, обученного на эмбеддингах OlmoEarth, достаточно для картирования наземных объектов: например, классификации мелкотоварных культур в Кении, обнаружения кирпичных заводов к западу от Дакки, оценки ущерба от пожаров в Индонезии и отслеживания добычи золота в перуанской Амазонии.
По сравнению с предыдущими поколениями моделей OlmoEarth, OlmoEarth v1.3 также стала нашей самой дешевой моделью в обучении. На нее ушло 53% времени вычислений нашей последней версии (v1.2) и 18% времени первой версии (v1), при этом выбросы углекислого газа составили 50% и 22% соответственно. Кроме того, она остается мощной моделью для дообучения, не уступая производительности v1.2 на исследовательских и партнерских данных. Наша новейшая модель создана на той же основе, что и предыдущие версии OlmoEarth, и настроена так, чтобы эмбеддинги оставались легковесными без потери точности при решении различных задач; эта работа по повышению эффективности будет продолжена и в будущих версиях.
Полные результаты и методология приведены в нашем техническом отчете.
Если вы захотите воспроизвести модель, предварительное обучение OlmoEarth v1.3 Base обойдется примерно в 2720 долларов США при аренде времени H100 для финального запуска. Веса, данные и код находятся в открытом доступе.
Одно место, девять лет
Насколько сильно изменился эмбеддинг каждого пикселя в период с 2017 по 2020 год (слева) и с 2020 по 2025 год (справа). Маджента обозначает наибольшие изменения. Слева: добыча полезных ископаемых распространяется на юго-восток (большой участок в правом нижнем углу). Справа: этот угол затих; изменения теперь происходят в старой зоне добычи на западе — отчасти это восстановление растительности, отчасти возобновление раскопок. Изучите это самостоятельно в
В регионе Мадре-де-Диос в Перу незаконная добыча золота вокруг Ла-Пампы достигла пика в 2017 и 2018 годах, уничтожив более 1200 гектаров леса в буферной зоне национального резерва Тампопата, согласно данным программы мониторинга MAAP организации Amazon Conservation. В феврале 2019 года в рамках операции «Меркурий» (Operation Mercurio) большая часть добычи была остановлена. С тех пор главный вопрос заключается в следующем: прекратилась ли она навсегда?
Эмбеддинги помогают ответить на этот вопрос. Сравните векторы каждого пикселя по годам без необходимости обучения моделей: пара снимков за 2017 и 2020 годы подсвечивает места, где добыча полезных ископаемых распространялась на юго-восток. Запустите такое же сравнение для периода с 2020 по 2025 год, и сигнал сместится. Результаты спецоперации отчетливо видны на эмбеддингах.
Самое интересное заключается в том, что показывает вторая карта. Она не темная. Согласно MAAP, анклавы на северо-порте продолжали работать, а старая зона добычи продолжает меняться по мере восстановления земли. Эмбеддинги фиксируют и это. Передышка оказалась недолгой, и давление снова нарастает. В августе 2026 года Associated Press сообщило, что Перу направила военно-морские патрули обратно в заповедник после того, как прокуроры обнаружили, что добыча полезных ископаемых перекинулась на территорию самого Тампопата.
Наша интерактивная история начинается с этого участка Мадре-де-Диос и подробно рассматривает несколько других примеров оттуда.
Проводник эмбеддингов OlmoEarth Embeddings Explorer
OlmoEarth Embeddings Explorer — это интерактивный инструмент анализа, созданный на основе самих эмбеддингов и представленный в виде псевдоцветной карты планеты. Перемещайтесь в любое место, переключайтесь между годами, чтобы увидеть, как изменился ландшафт, и вызывайте исходные изображения Sentinel-2, чтобы сопоставить карту с реальной действительностью. Затем задавайте вопросы: нажмите на одно место, чтобы найти другие похожие, или отметьте несколько точек с разметкой, чтобы на месте обучить небольшой классификатор, а затем экспортируйте результат в формате GeoTIFF. Никаких аккаунтов и сложной настройки не требуется.
Для многих команд тестирование идеи с помощью OlmoEarth означало запуск процесса дообучения длительностью в несколько часов. В проводнике первый проход занимает считанные секунды. Вы можете анализировать целые регионы по горстке меток без использования GPU. Когда задача требует дообучения, эмбеддинги помогут решить, стоит ли она затрат вычислительных ресурсов и в чем модель несовершенна.
Архив, лежащий в основе Explorer, содержит векторные представления (эмбеддинги) с разрешением 10 метров (около 150 ТБ в год), охватывающие сушу и прилегающие прибрежные воды. На момент запуска данные за 2025, 2024 и 2023 годы покрывают весь земной шар, а за период с 2017 по 2022 год — отдельные страны, причем объем покрытия будет увеличиваться. Вы можете получить эмбеддинги в полной 128-мерной версии или в более легкой 64-мерной версии. Каждый эмбеддинг также сопровождается записью о его происхождении. Для каждого тайла размером 20 километров и года в открытых таблицах происхождения указаны сцены Sentinel-1, Sentinel-2 и Landsat, которые считывала модель, со ссылками на публичные каталоги, где они хранятся, поэтому вы можете проследить любой пиксель до исходных снимков.
Начало работы
Этот релиз включает базовую модель OlmoEarth v1.3, предварительно рассчитанные глобальные эмбеддинги, инструмент OlmoEarth Embeddings Explorer и технический отчет. Если для вашей работы требуется определенный временной интервал, OlmoEarth Studio запускает ту же модель для выбранных вами дат, модальностей и разрешения, а tutorial показывает, как генерировать эмбеддинги на собственных вычислительных мощностях. Эти инструменты работают в комплексе: исследуйте данные в Embeddings Explorer, выполняйте дообучение в Studio, когда этого требует задача, и переносите оттуда свою карту. Все публикуется под лицензией OlmoEarth Artifact License, той же открытой лицензией, что и v1 и v1.2.
Загрузите эмбеддинги для интересующего вас места, задайте к ним свой вопрос и покажите нам, что вы обнаружили.
