1⃣ MetricStereo
генерация стереопары по одному фото с метрическим базисом
2 min readupdated
Модель превращает обычное плоское изображение в полноценную стереопару: по левому кадру и заданному расстоянию между камерами в метрах она напрямую синтезирует правый ракурс. В основе лежит двухвидовой латентный диффузионный U-Net и декодер VAE, переработанные из архитектуры Stable Diffusion 2.1, а релиз подготовлен анонимными авторами для конференции CVPR 2027. В отличие от классических пайплайнов, MetricStereo обходится без предварительной оценки карты глубины (depth estimation), деформации пикселей (warping) и дорисовывания пустот (inpainting). Инструмент пригодится разработчикам 3D-контента, исследователям компьютерного зрения и создателям контента для VR-гарнитур.
Ключевые особенности
- Прямая генерация без карт глубины: модель формирует второй ракурс напрямую в латентном пространстве с помощью совместного механизма self-attention для обоих видов.
- Точный учёт геометрии камеры: каждый ракурс дополняется картой лучей Плюккера (Plücker ray map), а заданный в метрах базис (baseline) кодируется в вектор позы и добавляется к эмбеддингу шага диффузии.
- Согласованность ракурсов: используется синхронизированная нормализация SyncVN и модифицированный декодер SD-2 VAE с лёгкой LoRA и кросс-видовым блоком внимания, чтобы левый и правый кадры не расходились по деталям.
- Быстрый инференс: для генерации хватает 25 шагов сэмплера DPM-Solver++(2M) с косинусным CFG (от 3 до 1) и автокастом в bf16.
Что можно сделать
- Конвертировать 2D-фото в стерео: задать стандартное межзрачковое расстояние (например, 0.065 м) и получить готовый правый кадр для просмотра на VR-шлемах или 3D-дисплеях.
- Тестировать алгоритмы стереозрения: генерировать синтетические стереопары с контролируемым базисом для оценки моделей диспаратности (например, FoundationStereo) и 3D-реконструкции.
- Проводить воспроизводимые бенчмарки: использовать встроенные в репозиторий скрипты для прогона и сравнения метрик на 9 стандартных датасетах вроде KITTI, Middlebury и NYUv2.
Пример
from metricstereo.pipeline import MetricStereo, read_rgb
from PIL import Image
model = MetricStereo()
right = model.generate(read_rgb("left.png"), baseline_m=0.065, seed=0)
Image.fromarray(right).save("right.png")
Подробнее
Метрики (фиксированный базис): на Booster точность глубины δ1 достигает 0.9684 (AbsRel 0.0413, LPIPS 0.3097), на KITTI — δ1 0.9617 (AbsRel 0.0571), на NYUv2 — δ1 0.9642 (AbsRel 0.0582).Формат и ограничения: фиксированное разрешение выхода 768 × 768 пикселей и угол обзора (FoV) 54°.
Веса и зависимости: файл metricstereo.safetensors занимает 3.8 ГБ; при первом запуске через open_clip дополнительно скачивается энкодер CLIP ViT-H/14 (laion2b_s32b_b79k).
Лицензия: CreativeML Open RAIL++-M (унаследована от Stable Diffusion 2.1).










Comments