Qwen3-VL-2B-RSM2FTok-cd
маски для Земли из спутниковых снимков
2 min readupdated
Это исследовательский чекпоинт, который связывает VLM Qwen3-VL-2B с токенизатором масок RSM2FTok. На вход он получает снимок дистанционного зондирования и текстовую инструкцию, а на выходе выдаёт текст со специальными mask-токенами. Декодер RSM2FTok превращает эти токены в попиксельную маску. Основные задачи — change detection и картирование оползней. Это не готовый генератор PNG: для работы нужны совместимый токенизатор и процедура декодирования.
Ключевые особенности
- Совмещает backbone Qwen3-VL-2B с токенизатором RSM2FTok для задач по Earth observation.
- Маска кодируется как текст: сетка 4×4, по два code-токена на регион, всего 32 токена на маску.
- Это SFT-вариант для обычного supervised-инференса; RL-варианты в линейке предназначены для своих распределений задач.
- Заявленные задачи: remote-sensing change detection и landslide mapping.
- Без RSM2FTok-декодера одна языковая модель не выдаст готовую маску.
Что можно сделать
- Прогонять спутниковые снимки через пайплайн RSM2FTok для поиска изменений и картирования оползней.
- Встроить чекпоинт в исследовательский pipeline pixel-wise Earth observation вместе с родным токенизатором и декодером.
- Проверять качество масок на своих данных, но только с тем же чекпоинтом, токенизатором, сплитом и промптами.
- Использовать как базу для экспериментов с supervised-инференсом в remote-sensing VLM.
Пример
Сценарий: на вход подаётся снимок и текстовая инструкция; модель возвращает последовательность вида <|mt_start|><|mt_0238|>…<|mt_end|>. Декодер RSM2FTok собирает из пар code-токенов попиксельную маску.
Подробнее
Маска — сетка 4×4, по два code-токена на регион, всего 32 токена; две кодовые книги по 256 записей.Диапазон токенов 0000–0511; у второго токена пары вычитают 256 перед декодированием.
Качество зависит и от предсказания токенов, и от реконструкции RSM2FTok; мелкие, тонкие и перекрытые области могут страдать.
Бенчмарков и требований к VRAM в карточке нет; Quick start обещан позже.










Comments