sunnypilot-speedlimits-models
набор нейросетей для чтения знаков скорости в автопилоте
2 min readupdated
Это связка из трёх лёгких моделей в формате ONNX (открытый стандарт для быстрого запуска нейросетей на разных устройствах), созданная для функции Speed Limit Assist в системе помощи водителю sunnypilot. Модели анализируют изображение с узкоугольной дорожной камеры устройств comma: первая находит знаки в кадре, вторая распознаёт их тип и значение (62 класса), а третья определяет, относится ли ограничение скорости именно к полосе автомобиля. В основе лежат кастомная свёрточная сеть SignNet и компактная архитектура MobileNetV3-Small. Набор пригодится разработчикам систем автономного вождения, ADAS и энтузиастам openpilot/sunnypilot.
Ключевые особенности
- Три этапа обработки:
cutter.onnx(SignNet) ищет до 5 кандидатов на кадр (вход 1×3×288×896),classifier.onnx(MobileNetV3-Small) классифицирует вырезанные области 160×160, аdecider.onnxпроверяет применимость знака к текущей дороге. - 62 класса знаков: распознаёт стандартные ограничения скорости (от 10 до 120), знаки с табличками времени и мокрой дороги, электронные табло, зоны, разметку на асфальте, отмену ограничений и светофоры.
- Учёт контекста: модель
decider.onnxпринимает не только картинку, но и координаты рамки, скорость машины и сцену, выдаваяown_road,other_roadили воздерживаясь от ответа (unresolved). - География обучения: модели предобучены на Mapillary Traffic Sign Dataset и дообучены на 10 948 кадрах из поездок по Швейцарии, Германии, Франции и США.
Что можно сделать
- Интегрировать модели в форки sunnypilot или openpilot на устройствах comma для работы ассистента контроля скорости.
- Использовать конвейер из детектора и классификатора в собственных проектах видеоаналитики для авторегистраторов и систем помощи водителю.
- Применить архитектуру
decider.onnxкак референс для фильтрации «чужих» знаков с дублёров и соседних съездов.
Пример
Пайплайн работает последовательно: 1) кадр масштабируется до ширины 896 px, берётся верхняя полоса 288×896 и подаётся в cutter.onnx для поиска до 5 рамок со score не ниже 0.3; 2) вырезанные области приводятся к 160×160 с нормализацией ImageNet и передаются батчем в classifier.onnx, отбрасывая класс not_a_sign; 3) знаки скорости отправляются в decider.onnx согласно контрактам *.contract.json.
Подробнее
Качество на тестовых заездах: Cutter находит 65% знаков (491 из 753) при 0.34 ложных срабатывания на кадр.Связка Cutter + Classifier корректно находит и читает 74% знаков скорости (156 из 211), ложных рамок — 0.08 на кадр.
Applicability (
decider.onnx): precision 0.50 и recall 0.19 для класса «другая дорога» (на 16 примерах), macro-F1 — 0.41.Ограничения и лицензия: экспериментальный релиз (не заменяет контроль водителя); веса под CC BY-NC-SA 4.0, код запуска под MIT.










Comments