Кросс-модальные энкодеры SAR-optical
обнаружение изменений на спутниковых снимках без дообучения
2 min readupdated
Набор из трёх предобученных нейросетевых фреймворков (DeCUR, CROMA и CroCoMAE) от автора tanodino, предназначенных для задачи zero-shot change detection (обнаружение изменений на местности без дополнительного обучения на целевых данных). Модели сравнивают оптический снимок со спутника Sentinel-2 до события с радарным снимком SAR (радиолокатор с синтезированной апертурой) со спутника Sentinel-1 после события и строят карту изменений. В основе каждого фреймворка лежит архитектура ViT-Small (компактный Vision Transformer — нейросеть для анализа изображений), обученная методом самообучения (self-supervised learning) по единому протоколу. Релиз пригодится исследователям и разработчикам в сфере дистанционного зондирования Земли, которым нужно сопоставлять разнородные спутниковые данные.
Ключевые особенности
- Три архитектурных подхода в одном релизе: DeCUR (317,6 млн параметров), CROMA (60,6 млн) и CroCoMAE (44,3 млн).
- Кросс-модальное сопоставление: связывает оптические каналы Sentinel-2 (B2, B3, B4, B8) и радарные данные Sentinel-1 (VV, VH в дБ) в едином пространстве признаков.
- Единый протокол предобучения: все три модели обучены на 1 609 824 тайлах размером 64×64 пикселя из датасета SSL4EO-S12 v1.1 (чекпоинт 148 000 шагов).
- Открытая лицензия CC BY 4.0 и готовые файлы статистики нормализации (
norm_stats.json) и конфигурации для каждого фреймворка.
Что можно сделать
- Строить карты изменений местности в режиме zero-shot, сравнивая архивные оптические снимки Sentinel-2 со свежими радарными снимками Sentinel-1 (например, при облачности после события).
- Сравнить эффективность трёх подходов к кросс-модальному самообучению (DeCUR, CROMA, CroCoMAE) в единых условиях на собственных геопространственных данных.
- Извлекать выровненные векторы признаков из спутниковых тайлов 64×64 для интеграции в пайплайны мониторинга Земли.
Пример
import json
from model_loading import load_model
info = json.load(open("croma/model_info.json"))
model, step = load_model("croma", info) # step == 148000
Подробнее
Архитектура энкодеров: по одному ViT-Small на модальность (384 измерения, 12 слоёв, 6 голов, патчи 8×8 на входах 64×64).Объём параметров для инференса (энкодеры + проекторы/голова): 42,8 млн (CroCoMAE), 45,4 млн (CROMA) и 317,6 млн (DeCUR).
Обучение: 100 614 пар снимков Sentinel-1/2 (декабрь 2019 — октябрь 2021), batch size 512, оптимизатор AdamW, 1 GPU.
Для запуска требуется официальный репозиторий кода (
extract_features.py); CROMA и CroCoMAE работают в режиме 16 видимых токенов из 64.









Comments