EscRq1/nisar-seg-vith
поиск изменений на радарных снимках NISAR
2 мин чтенияобновлено
Исследовательская модель от EscRq1 для битемпорального анализа спутниковых радарных данных NISAR (сравнения снимков одной территории за два разных момента времени). Она принимает пару выровненных снимков в поляризациях HH и HV и строит попиксельную карту изменений обратного радарного рассеяния. В основе лежит сиамский энкодер ViT-H/14 (Vision Transformer с общими весами для обоих снимков, предварительно обученный методом MAE на данных NISAR) и свёрточная голова (CNN) для локализации отличий. В отличие от классификаторов земного покрова, модель лишь выделяет зоны, где сигнал изменился, но не определяет причину — будь то наводнение, вырубка леса или стройка. Пригодится специалистам по дистанционному зондированию Земли и исследователям геоданных.
Ключевые особенности
- Сиамская архитектура: оба снимка (T0 и T1) проходят через один и тот же энкодер ViT-H/14 с патчами 14×14, что переводит признаки в единое пространство.
- Тайловый инференс: большие сцены разбиваются на перекрывающиеся фрагменты 224×224 пикселя, а предсказания затем сшиваются в бесшовную карту.
- Фокус на локализации: чекпоинт
detector.safetensorsсодержит только детектор изменений (без классификатора типов поверхности и LLM-обвязки). - Гибкая постобработка: на выходе получаются непрерывная карта оценок изменений, бинарная маска по заданному порогу и визуальное наложение на исходный снимок.
Что можно сделать
- Мониторинг территорий: отслеживать динамику влажности почвы, растительности, водных поверхностей и застройки по парам снимков NISAR Level-2 GCOV.
- Первичный отбор сцен: автоматически находить участки с аномальными сдвигами сигнала для дальнейшей ручной проверки экспертами или анализа разности T1 − T0.
Пример
Вход: два выровненных по сетке радарных снимка NISAR (T0 — более ранний, T1 — более поздний) с каналами поляризации HH и HV.
Выход: непрерывная карта оценок изменений (Change score map), бинарная маска (Thresholded change mask) при превышении выбранного порога и наложение зон изменений поверх снимка T0 (Change overlay).
Подробнее
Обучение: 2 этапа — self-supervised адаптация ViT-H через MAE на снимках NISAR и обучение детектора на автоматически сгенерированных целях.Ограничения: оценки модели не являются калиброванными вероятностями; смещение сетки, спекл-шум и условия съёмки могут давать ложные срабатывания.
Метрики: независимая оценка точности на вручную проверенных сценах пока не проводилась.










Комментарии