Сегментация деталей авто
три модели на VehicleSeg10K
2 min readupdated
Три модели размечают по пикселям 13 деталей автомобиля: кузов, номер, колёса, стёкла и двери. Это файнтюны YOLO26x-seg, RF-DETR Seg 2XL и замороженного DINOv3 ViT-L/16 с обученным FPN-декодером. Все обучены и проверены на VehicleSeg10K: 8 596 изображений для обучения и 3 069 для теста. Пригодится для осмотра автомобилей, автосервисов и компьютерного зрения в автомобильных сервисах. Лучшая точность у DINOv3, самый быстрый — YOLO26x-seg.
Ключевые особенности
- 13 общих классов с одинаковыми id: кузов, номер, колёса, окна и двери.
- DINOv3 + декодер: mIoU 91,50, mDice 95,53 и Part F1 93,22 на valid-сплите.
- YOLO26x-seg обрабатывает кадр за 38 мс на RTX 2080 Ti при 2,6 ГБ VRAM.
- RF-DETR Seg 2XL — компромисс: mIoU 90,57 и 77 мс на RTX 2080 Ti.
- «Лево» — со стороны водителя; модели не обучали с горизонтальным отражением.
Что можно сделать
- Выделять кузов, двери и стёкла на фотографиях автомобиля для осмотра и каталогизации.
- Встроить YOLO26x-seg в приложение для быстрой попиксельной разметки кадров на слабой GPU.
- Использовать RF-DETR там, где нужен баланс точности и скорости, например в пакетной обработке снимков.
- С DINOv3 получать семантическую карту деталей — без разделения объектов, зато с высокой mIoU.
Пример
from huggingface_hub import hf_hub_download
from ultralytics import YOLO
path = hf_hub_download("MrBr1ghts1d3/VehiclePartsSegmentatorFTModels", "yolo26x-seg/yolo26x_seg_vehicleseg10k.pt")
model = YOLO(path)
result = model.predict("car.jpg", imgsz=768, conf=0.25, retina_masks=True)[0]
for cls, score in zip(result.boxes.cls.tolist(), result.boxes.conf.tolist()):
print(model.names[int(cls)], round(score, 3))
Подробнее
Метрики на 3 069 изображениях: DINOv3 — mIoU 91,50; RF-DETR — 90,57; YOLO — 87,91.Скорость: YOLO 38 мс, RF-DETR 77 мс; DINOv3 1228 мс на GTX 1080 Ti без tensor cores — не показатель для современных GPU.
Пиковая VRAM: YOLO 2,6 ГБ, RF-DETR 7,4 ГБ. DINOv3-бэкбон gated, в репозитории только декодер (21 МБ).
Ограничения: в основном целые легковые авто снаружи; главная ошибка — путаница левой и правой сторон. Лицензии разные: AGPL-3.0, Apache-2.0 и DINOv3 License.










Comments