RCQFusion
3D-детекция объектов по данным камеры и радара
2 мин чтенияобновлено
Модель для трёхмерного распознавания объектов в дорожных сценах, объединяющая данные с камеры и радара (Camera–Radar 3D Detection). На выходе система предсказывает координаты и класс объектов трёх категорий: пешеходов (Pedestrian), велосипедистов (Cyclist) и автомобилей (Car). Решение основано на фреймворке MMDetection3D (библиотека для 3D-детекции объектов) и опубликовано в рамках анонимной подачи на конференцию ICLR. В отличие от чисто визуальных детекторов, модель использует радарные данные и временные связи между кадрами, что помогает точнее оценивать дистанцию и положение участников движения. Пригодится исследователям и разработчикам систем автономного вождения для воспроизведения экспериментов на датасете View of Delft (VoD).
Ключевые особенности
- Объединение модальностей камеры и 5-кадрового радара с учётом временных связей между кадрами последовательности.
- Распознавание трёх ключевых классов дорожных объектов: Pedestrian, Cyclist и Car.
- Полный пайплайн инференса и валидации в комплекте: готовый чекпоинт, скрипты конвертации данных VoD и встроенная версия MMDetection3D 1.0.0rc6.
- Поддержка запуска на одной или нескольких GPU с вычислениями в половинной точности (FP16).
Что можно сделать
- Провести оценку качества 3D-детекции на валидационной выборке датасета View of Delft с расчётом официальной метрики AP11.
- Использовать готовый чекпоинт и скрипты подготовки данных в качестве базового решения (baseline) для сравнения собственных алгоритмов слияния камеры и радара.
- Запустить распределённый инференс на нескольких видеокартах для ускоренной генерации 3D-предсказаний по дорожным сценам.
Пример
export VOD_DATA_ROOT=/path/to/vod
CUDA_VISIBLE_DEVICES=0 bash tools/infer_vod.shПодробнее
Валидация (1296 кадров VoD, 3D AP11): общий mAP — 61.35% (Pedestrian 53.64%, Cyclist 76.23%, Car 54.18%), в коридоре движения (ROI) mAP — 77.92% (Cyclist до 90.84%).Окружение: Linux, Python 3.8, PyTorch 1.9.1+cu111, mmcv-full 1.6.0 с CUDA-операторами; тестировалось на NVIDIA RTX A5000.
Ограничения: сам датасет VoD в репозиторий не включён и загружается отдельно по исследовательской лицензии.










Комментарии