AfroViewz Pothole Detector
поиск ям на дорогах прямо в браузере
2 min readupdated
Лёгкая модель компьютерного зрения от автора JBWan94 для автоматического поиска ям на фотографиях дорог, записях с видеорегистраторов и в потоке с камеры смартфона. Она построена на компактной архитектуре RF-DETR Nano для входного разрешения 384×384 пикселя и экспортирована в формат ONNX. Главное отличие от более тяжёлых детекторов вроде RF-DETR Small — ставка на скорость работы локально на устройстве через onnxruntime-web (с ускорением WebGPU и откатом на WebAssembly) без отправки видео на сервер. Подойдёт разработчикам веб-приложений, мобильных навигаторов и систем мониторинга дорожного покрытия.
Ключевые особенности
- Локальный запуск в браузере: работает на стороне клиента через
onnxruntime-webс поддержкой WebGPU и WebAssembly. - Высокая скорость: версия Nano оптимизирована для плавной работы на смартфонах и тратит 4.6 мс на кадр на видеокарте L4.
- Компактное хранение весов: веса сохранены в
float16и конвертируются вfloat32внутри графа с минимальным отклонением (разница топ-скоров менее 0.002). - Без постобработки NMS: архитектура DETR сразу выдаёт 300 предсказаний координат и логитов классов без необходимости запускать Non-Maximum Suppression.
Что можно сделать
- Встроить детектор в веб-приложение или PWA для фиксации дорожных ям через камеру смартфона во время поездки.
- Автоматически размечать архивные записи с автомобильных видеорегистраторов для составления карты дефектов дорог.
- Адаптировать пайплайн предобработки (обрезку полосы дороги по высоте кадра) для других задач дорожной аналитики в браузере.
Пример
Для корректного инференса подайте на вход тензор input формы [1, 3, 384, 384] в RGB (ресайз билинейной интерполяцией без сглаживания, нормализация по среднему и std ImageNet). Для кадров с видеорегистратора перед подачей рекомендуется обрезать полосу между 35% и 75% высоты кадра. На выходе модель вернёт координаты боксов dets [1, 300, 4] и логиты labels [1, 300, 2], где уверенность вычисляется через сигмоиду.
Подробнее
Метрики на тесте (592 изображения, 846 ям): mAP50 — 0.643 (95% ДИ: 0.599–0.694), mAP50:95 — 0.344, скорость — 4.6 мс на кадр (L4).Для сравнения: старшая модель автора RF-DETR Small (704 px) набирает 0.730 mAP50, но тяжелее для телефонов.
Обучение: датасет Stellenbosch Road Pothole Images (CC0) и два публичных набора с Roboflow Universe.
Ограничения: обучалась преимущественно на южноафриканских записях с регистраторов и фото с телефонов; не является системой безопасности.








Comments