Paths
реидентификация людей по RGB и событийному видео
2 min readupdated
Набор предобученных чекпоинтов для архитектуры Paths, представленной на конференции ACM MM 2026. Модель решает задачу Video Person Re-Identification (повторного распознавания одного и того же человека на разных видеозаписях), объединяя обычные RGB-кадры и данные с событийных камер (Event-камер, фиксирующих изменения яркости пикселей в реальном времени) с помощью пространственно-временного трансформера. В основе лежат бэкбоны CLIP-B/16 и DINOv3 ViT-B/16. Разработка пригодится исследователям компьютерного зрения и инженерам систем видеоаналитики для воспроизведения результатов статьи и тестирования мультикамерного трекинга.
Ключевые особенности
- Архитектура сочетает пространственно-временной трансформер с иерархическим мультимодальным слиянием данных и учетом промптов.
- В репозитории опубликованы три готовых файла весов (
.pth), обученных под разные конфигурации и наборы данных. - Поддерживаются два визуальных энкодера на выбор: CLIP-B/16 и более свежий DINOv3 ViT-B/16.
- Все опубликованные чекпоинты проверены скриптом оценки
test.pyиз официального репозитория кода.
Что можно сделать
- Протестировать качество распознавания людей на датасетах EvReID и MARS с помощью готовых конфигов.
- Сравнить точность работы CLIP-B/16 и DINOv3 ViT-B/16 в задачах анализа видеопотоков и трекинга.
- Использовать чекпоинты как базовую отправную точку (бейзлайн) при разработке собственных систем мультимодальной видеоаналитики.
Пример
pip install -U huggingface_hub
hf download Reflection0427/Paths paths_evreid_dinov3.pth --local-dir weights
python test.py --config_file configs/EvReID/paths_dinov3.yml TEST.WEIGHT weights/paths_evreid_dinov3.pth
Подробнее
Метрики на датасете EvReID (DINOv3 ViT-B/16): mAP — 73.9, Rank-1 — 89.6, Rank-10 — 97.2.Метрики на датасете EvReID (CLIP-B/16): mAP — 71.2, Rank-1 — 88.9.
Метрики на датасете MARS (DINOv3 ViT-B/16): mAP — 88.8, Rank-1 — 91.0, Rank-10 — 98.4.
Ограничения: веса на базе DINOv3 распространяются под лицензией DINOv3 License; для запуска требуется установка зависимостей и разметка датасетов из основного GitHub-репозитория.










Comments