CryoFM
базовая модель для анализа ледников по спутниковым снимкам
2 мин чтенияобновлено
Базовая модель (foundation model) от CryoFM-Ano для сегментации спутниковых данных криосферы — ледников, ледниковых озёр, морского льда и шельфовых ледников. В основе лежит энкодер архитектурой ViT-B/8 на 122.5 млн параметров, предобученный методом MAE (masked autoencoder — маскированный автоэнкодер) на датасете CryoMesh из 877 881 фрагмента снимков Sentinel-2, Sentinel-1 и рельефа Copernicus DEM. Главная фишка модели — независимость от набора каналов: она принимает любое подмножество из 10 поддерживаемых спектральных и радарных диапазонов, воспринимая отсутствующие каналы именно как отсутствующие, а не заполняя их нулями. Пригодится исследователям криосферы, гляциологам и разработчикам систем дистанционного зондирования Земли.
Ключевые особенности
- Поддержка 10 каналов из трёх источников: оптические Sentinel-2 (B2, B3, B4, B8, B11, B12), радарные Sentinel-1 (VV, VH) и данные рельефа Copernicus DEM (уклон и высота).
- Гибкая работа с неполными данными: можно подавать на вход только доступные каналы (например, только RGB), не переобучая архитектуру.
- В репозитории сразу лежат готовые веса UPerNet-голов (как с замороженным энкодером, так и после полного файнтюна) для 6 бенчмарков: GSDD, GLID, GLB, SICD, CaFFe и Shelf-Bench.
- Доступен полный чекпоинт предобучения (энкодер, MAE-декодер и FSQ-токенизаторы) под открытой лицензией Apache-2.0.
Что можно сделать
- Картировать ледниковые озёра или границы ледников по GeoTIFF-снимкам с помощью готовых весов для задач GLID и GLB.
- Использовать предобученный энкодер как экстрактор признаков для собственных задач сегментации снежного и ледового покрова на базе спутниковых данных Sentinel.
- Анализировать сцены с облачностью в оптическом диапазоне, переключаясь исключительно на радарные каналы Sentinel-1 (VV/VH) и данные высот DEM.
Пример
from cryofm import load_encoder, load_task_model, predict_geotiff
encoder = load_encoder("CryoFM-Ano/CryoFM")
model, cfg = load_task_model("GLID", "finetuned", "CryoFM-Ano/CryoFM",
bands=["B4_red", "B3_green", "B2_blue"])
pred = predict_geotiff(model, "scene.tif", "scene_glacial_lakes.tif")
Подробнее
Средний показатель mIoU на тесте Cryo-Bench: 70.72 с замороженным энкодером и 73.65 после файнтюна (на задаче GLID достигает 91.43, на Shelf-Bench — 87.76).Требуется поканальная нормализация (нулевое среднее и единичное стандартное отклонение), для задачи SICD используются фиксированные статистики из её config.json.
Ограничения: модель работает только со словарём из 10 указанных каналов; при запуске с меньшим числом каналов, чем при обучении задачи, точность может снижаться.










Комментарии