CAT
оценка проходимости местности для разных роботов по одному RGB-D кадру
2 мин чтенияобновлено
Модель CAT от исследователей из Университета Сан-Паулу (представлена на конференции IROS 2026) строит плотную карту проходимости (dense traversability) по одному RGB-D изображению (цветной кадр плюс карта глубины). Главная особенность — прогноз зависит от возможностей конкретного робота, который должен проехать по этой поверхности: одна и та же преграда может быть проходимой для гусеничной платформы, но недоступной для маленького колёсного ровера. В основе лежат замороженные бэкбоны (опорные нейросети извлечения признаков) facebook/dinov3-vitb16-pretrain-lvd1689m и CIDAS/clipseg-rd64-refined. Пригодится разработчикам автономной навигации и мобильной робототехники для работы в неструктурированной среде и на бездорожье.
Ключевые особенности
- Адаптация под конкретного робота: предсказание проходимости учитывает характеристики и оценки (scores) выбранной платформы.
- Работа по одному кадру: для построения карты не требуется серия снимков — достаточно пары RGB и depth-изображения.
- Связка DINOv3 и CLIPSeg: архитектура опирается на замороженные визуальные и мультимодальные признаки из предобученных моделей.
- Статистика сенсоров в комплекте: вместе с весами
best_model.pthпоставляется файлdepth_stats.jsonсо статистикой глубины по сенсорам.
Что можно сделать
- Планирование маршрутов на бездорожье: интегрировать модель в систему навигации автономного робота для выбора безопасной траектории по неровному грунту.
- Сравнение проходимости разных платформ: прогонять одни и те же RGB-D сцены с разными профилями возможностей роботов (через
scores.yaml), чтобы оценить, где пройдёт конкретная машина. - Тестирование на датасете NaviTrace: запустить готовый демо-скрипт
cat_demo.pyна примерах из репозитория проекта для проверки качества сегментации.
Пример
uv run --locked --extra cu128 hf download CAT-IROS-2026/cat best_model.pth depth_stats.json --local-dir checkpoints/cat
uv run --locked --extra cu128 python cat_demo.py \
--checkpoint checkpoints/cat/best_model.pth \
--rgb examples/navitrace/*/rgb.png \
--depth examples/navitrace/*/depth.png \
--scores examples/navitrace/scores.yaml \
--sensor ts
Подробнее
Базовые модели: facebook/dinov3-vitb16-pretrain-lvd1689m и CIDAS/clipseg-rd64-refined (загружаются автоматически при первом запуске).Состав релиза: чекпоинт best_model.pth и файл статистики глубины depth_stats.json.
Лицензии: чекпоинт распространяется под DINOv3 License (так как обучен на признаках DINOv3), код — под MIT License.
Требования к VRAM и цифры бенчмарков в карточке не указаны (подробности в статье arXiv:2607.20679).










Комментарии