pointline-indoor-layout
детектор структуры комнат и наклона камеры
1 мин чтенияобновлено
Модель pointline-indoor-layout по одной RGB-фотографии определяет структуру помещения: границы пола и потолка, вертикальные стыки стен и углы комнаты. При этом алгоритм находит не только видимые элементы, но и скрытые за мебелью участки, полностью игнорируя сами объекты. Дополнительный модуль TiltNet оценивает ориентацию камеры (наклон и высоту), позволяя восстанавливать геометрию пространства в 3D. Разработка базируется на энкодере ConvNeXt-Tiny и обучена исключительно на синтетических данных (BlenderProc).
Ключевые особенности
- Детекция скрытых линий комнат (стены, пол, потолок и углы) даже за мебелью
- Оценка высоты камеры и угла её наклона (TiltNet) для перехода в 3D
- Использование архитектуры ConvNeXt-Tiny и U-Net-подобного декодера
- Лёгкие веса моделей (~33 МП у LayoutNet и ~40 МП у TiltNet)
Что можно сделать
- Запустить инференс на изображении комнаты для получения тепловых карт структуры
- Интегрировать модель в робототехнику для оценки геометрии помещений по камере
- Рассчитать высоту камеры и углы наклона для задач компьютерного зрения
Пример
import torch
from model import load_layout, load_tilt
layout = load_layout("layout.safetensors", "cuda")
prob = torch.sigmoid(layout(x)) # x: (B,3,480,640) RGB -> (B,8,240,320)
Подробнее
Бенчмарки: F1 для видимых структур 0.97–0.99, для полных (включая скрытые) 0.92–0.96.Погрешность TiltNet: медианная ошибка угла 0.50°, медианная относительная ошибка высоты камеры 6.6%.
Ограничения: обучение только на синтетических данных, качественная оценка на реальных фото выполнена только визуально.
Лицензия: Apache-2.0.










Комментарии