SAM-VTP

SAM-VTP — веса модели непрерывной сегментации проходимости для RGB-D видео (автор — lucashoefs). Модель адаптирует видеопамять SAM 2 для предсказания без промптов и добавляет геометрию, измеренную по глубине: на каждом кадре получается попиксельная оценка в [0,1]. База — facebook/sam2.1-hiera-tiny, энкодер Hiera-T, 41,2 млн параметров.

🔥 Ключевые особенности

• 👁 Предсказание без промптов за счёт видеопамяти SAM 2.
• 🏔 Учитывает метрическую глубину и внутренние параметры камеры.
• ✅ Выдаёт непрерывную попиксельную оценку проходимости на каждом кадре.
• 🦾 Этот checkpoint использовался в испытаниях на роботе.
• ⬇ 32-битные веса, 41,2 млн параметров; есть код модели и вариант развёртывания на роботе.

🦾 Пример

import torch
from sam_vtp import CameraIntrinsics, build_model

cam = CameraIntrinsics.from_K(K, width=848, height=480)
model = build_model("sam_vtp.pt", device=torch.device("cuda"), camera=cam)
model.reset_memory()
out = model.forward_frame(rgb, is_init_frame=True, depth=depth)
traversability = out["logits"].sigmoid()

Подробнее

Checkpoint seed 42, эпоха 286, выбран по validation fuzzy Jaccard; именно его использовали в роботизированных испытаниях.
Обучение: TartanGround, вход 512×512, последовательности по 24 кадра, память на 7 кадров, 300 эпох по 1 000 последовательностей (7,2 млн кадров).
Нужны метрическая глубина и корректные intrinsics камеры: при неверных значениях модель молча выдаст правдоподобную, но неверную карту. Кадры должны идти в порядке съёмки.
Лицензия Apache 2.0; веса дообучены из SAM 2.1 Hiera-T.