European Dashcam Vehicle Classifier
классификация машин по кадрам с регистраторов
2 мин чтенияобновлено
Модель на базе архитектуры ConvNeXt-Tiny (нейросеть для распознавания изображений), дообученная на кадрах с европейских видеорегистраторов. Она умеет определять марку и модель автомобиля по кропнутому изображению для 117 различных классов. Бэкбон модели предварительно обучен на огромном датасете из 460 тысяч автомобильных изображений. Инструмент будет полезен исследователям, разработчикам и энтузиастам, работающим с видеоаналитикой дорожного движения.
Ключевые особенности
- 117 классов: охватывает популярные марки и модели автомобилей с достаточным количеством обучающих примеров.
- Высокая точность: показывает top-1 точность 91.6% на тестовом сплите и 92.2% на аудированных человеком данных.
- Эффективный бэкбон: в основе лежит легкая и производительная модель ConvNeXt-Tiny с разрешением 224 пикселя.
- Качественное обучение: использовались взвешенная выборка классов и сглаживание меток (label smoothing) для борьбы с дисбалансом.
Что можно сделать
- Анализ видео с регистратора: настроить автоматическое распознавание марок машин на записках с камер наблюдения.
- Исследования движения: использовать модель в некоммерческих академических проектах по мониторингу транспорта.
- Фильтрация данных: применять для разметки и сортировки больших массивов дорожных видеоматериалов.
Пример
import torch
from huggingface_hub import hf_hub_download
from torchvision import models, transforms
from PIL import Image
ckpt = torch.load(hf_hub_download("rdo1/euro-dashcam-vehicle-classifier-117", "model.pt"),
map_location="cpu", weights_only=False)
classes = ckpt["classes"]
model = models.convnext_tiny(weights=None)
model.classifier[2] = torch.nn.Linear(model.classifier[2].in_features, len(classes))
model.load_state_dict(ckpt["state_dict"]); model.eval()
tf = transforms.Compose([
transforms.Resize(224, interpolation=transforms.InterpolationMode.BICUBIC),
transforms.CenterCrop(224), transforms.ToTensor(),
transforms.Normalize([0.485,0.456,0.406], [0.229,0.224,0.225]),
])
img = Image.open("crop.jpg").convert(
"RGB")
with torch.inference_mode():
p = model(tf(img).unsqueeze(0)).softmax(1)[0]
top = p.topk(5)
print([(classes[i], round(float(p[i]), 3)) for i in top.indices])
Подробнее
Метрики: top-1 0.916 и top-5 0.978 на фиксированном сплите; 0.922 top-1 на проверенных вручную кадрах.Обучение: 30 эпох на 6 039 кадрах с фильтрацией меток через CLIP.
Ограничения: только для некоммерческих исследовательских целей по лицензии CC-BY-NC-4.0.
Входные данные: изображения с одним автомобилем размером около 100–400 пикселей по короткой стороне.










Комментарии