ORCA VGGT depth bf16

Это depth-only версия VGGT-1B-Commercial от Meta, опубликованная orcaengineer: удалены головы камеры, точек и трекинга, оставлена только depth head. У модели 941,8 млн параметров, агрегатор в bfloat16, файл весов около 1,95 ГБ. Её используют в ORCA — пайплайне картографирования коралловых рифов по подводным снимкам, чтоб�� закрывать дыры стереосопоставления в картах глубины.

🔥 Ключевые особенности

• 🔥 Только depth head: остальные головы VGGT удалены, модель собирается по config.json.
• 💻 Запуск на 4 ГБ GPU: пик 2,71 ГБ на RTX 3050 Laptop GPU при 8 видах и depth head по одному кадру за чанк.
• ✔ Веса не дообучали: depth head бит-в-бит совпадает с оригиналом и остаётся float32.
• 📷 Агрегатор в bfloat16: 941,8 млн параметров против 1 256,5 млн, файл ~1,95 ГБ против 5,03 ГБ.
• 📌 Глубина относительная: ORCA пересчитывает её в метры через медианное отношение к стереоглубине.
• 📚 Нужны пакет vggt и PyTorch; bfloat16 требует GPU с compute capability 8.0 или новее.

💻 Пример

model = VGGT.from_pretrained("orcaengineer/orca-vggt-depth-bf16")
model.aggregator.to(torch.bfloat16)
model = model.to("cuda").eval()
head = model.depth_head
head.forward = functools.partial(type(head).forward, head, frames_chunk_size=1)
images = load_and_preprocess_images(["frame_0.jpg"]).to("cuda")
with torch.no_grad(), torch.autocast("cuda", dtype=torch.bfloat16):
    depth = model(images[None])["depth"][0, :, :, :, 0]

Подробнее

Пиковое потребление GPU: 2,71 ГБ на RTX 3050 Laptop GPU, 8 видов, depth head по одному кадру за чанк.
На H100 против оригинала: медианная разница глубины 2,0–7,6 мм, 95-й перцентиль 5,9–18,9 мм на дистанции 2–4,5 м.
Depth head остаётся float32; bfloat16 требует GPU с compute capability 8.0+. На старых GPU или CPU агрегатор лучше вернуть в float32.
Лицензия VGGT License v1 от 29 июля 2025, включая Acceptable Use Policy. Это производная VGGT, не сделанная и не одобренная Meta.