vehicle-reid-veri776
модель для поиска автомобилей по фото с разных камер
2 мин чтенияобновлено
Эта модель решает задачу реидентификации автомобилей (vehicle Re-ID): она принимает фотографию машины и преобразует её в вектор из 2048 чисел (embedding). Если сфотографировать один и тот же автомобиль с разных ракурсов или на другие камеры, полученные векторы окажутся очень близкими друг к другу. Модель построена на базе ResNet50 с архитектурными улучшениями (включая BNNeck и center loss) и обучена на датасете VeRi-776. Она пригодится разработчикам систем видеоаналитики, исследователям компьютерного зрения и тем, кто изучает задачи поиска дубликатов или сопоставления объектов по визуальным признакам.
Ключевые особенности
- Высокая точность: метрика mAP достигает 78,3%, а Rank-1 составляет 96,0% на тестовом наборе VeRi-776.
- Постобработка re-ranking: применение k-reciprocal кодирования позволяет поднять mAP до 80,6%.
- Продуманная архитектура: использование ResNet50 со стабильным бейзлайном, triplet loss и center loss для лучшей разделимости классов.
- Эффективное обучение: модель обучена на одной видеокарте RTX 4050 всего за 8,8 часа с использованием смешанной точности (mixed precision).
Что можно сделать
- Поиск машин в базе: сравнивать вектор целевого автомобиля с галереей изображений для автоматического поиска похожих кадров.
- Интеграция в пайплайн: использовать готовую PyTorch-реализацию для извлечения эмбеддингов из транспортных средств на кадрах с видеонаблюдения.
- Эксперименты с re-ranking: внедрить алгоритм k-reciprocal для улучшения порядка выдачи результатов в поисковой галерее.
- Изучение кода: разобрать чистую реализацию сильного бейзлайна на PyTorch с детальной настройкой аугментаций и потерь.
Пример
import torch
from reid.models.baseline import Baseline
from reid.data.transforms import build_transforms
from PIL import Image
model = Baseline(num_classes=576, pretrained=False)
model.load_state_dict(torch.load("vehicle_reid_baseline.pt", map_location="cpu"))
model.eval()
transform = build_transforms(train=False)
image = transform(Image.open("carro.jpg").convert("RGB")).unsqueeze(0)
with torch.no_grad():
embedding = torch.nn.functional.normalize(model(image), dim=1)
Подробнее
Бенчмарки: mAP 78,3% (80,6% с re-ranking), Rank-1 96,0% (96,5% с re-ranking).Требования к железу: обучено на 1x RTX 4050 (6 ГБ VRAM).
Ограничения: модель обучена только на дневных данных VeRi-776 с 20 камер; чувствительна к сильным изменениям освещения и не распознает госномера.










Комментарии