ДругоеPasswerob
Night3R
глубина и поза для event/RGB-сцен
1 мин чтенияобновлено
Night3R — это финальные student-чекпоинты от Passwerob на базе MASt3R с event voxel encoder и слиянием event/RGB. Модель оценивает геометрию сцены, а вариант с pose head — ещё и позу/траекторию.
💻 Ключевые особенности
- 📷 Архитектура MASt3R + event voxel encoder и fusion event/RGB.
- 🔥 Два основных файла: геометрия без pose head и вариант с адаптированным pose head для позы и траектории.
- 📚 Обучение на MVSEC, DSEC train и DL3DV с DA3 pseudo-depth; пропорция 4:2:1.
- ✔ Для загрузки нужен отдельный MASt3R backbone checkpoint, его нет в репозитории.
- 📍 Есть отдельный pose head checkpoint.
📚 Пример
python forward_night3r.py --config config/train_event_dark3r_mvsec_dsec.yaml --checkpoint event_dark3r_night3r_final.pth --data-root /path/to/screen_dataset_root --outdir outputs/export_example --device cuda --allow-unsafe-checkpoint-loadПодробнее
Метрики геометрии: MVSEC median AbsRel 0.1933 / delta1 0.7976; DSEC median AbsRel 0.0684 / delta1 0.9686.DL3DV сравнивается с held-out DA3 pseudo-depth, это не GT-точность.
Геометрический чекпоинт — step 100 из run blend700.
Для позы используйте event_dark3r_night3r_final_with_pose_head.pth; базовый MASt3R checkpoint нужно скачать отдельно.
Комментарии