AutoDrive-OPD-E057O-student
модель автопилота на базе Qwen3-VL
2 мин чтенияобновлено
Модель представляет собой специализированный файнтюн визуально-языковой модели Qwen3-VL-4B-Instruct, обученный для задач автономного вождения в симуляторе NAVSIM. На вход подается изображение с передней камеры и текстовый промпт с параметрами движения (команда навигации, текущая скорость, ускорение, угловая скорость и прошлая траектория), а на выходе модель выдает блок с траекторией движения на 4 секунды вперед. Обучение проводилось методом он-полиси дистилляции (on-policy distillation) на основе двух экспертных RL-моделей. Разработка пригодится исследователям в области беспилотного транспорта и компьютерного зрения.
Ключевые особенности
- Архитектура Qwen3-VL: Полновесное обучение модели размером 4 миллиарда параметров с поддержкой работы с изображениями и текстом.
- Дистилляция политик: Использование данных от двух экспертов под управлением обучения с подкреплением (RL) для повышения стабильности.
- Точное предсказание траекторий: Генерация 8 точек координат [x, y, yaw] с интервалом в 0.5 секунды в текущей системе координат авто.
- Оценка на NAVSIM: Проверено на 12 146 тестовых сценах бенчмарка с нулевым числом ошибок парсинга.
Что можно сделать
- Тестирование в NAVSIM: Оценивать качество автономного вождения на симуляционных датасетах, полученных из nuPlan.
- Исследование беспилотных систем: Использовать как основу для экспериментов с эндо-то-енд (end-to-end) планированием траекторий.
- Интеграция в пайплайны: Применять скрипты генерации и оценки для анализа работы мультимодальных агентов на дорожных сценах.
Пример
В качестве входа модель принимает кадр с фронтальной камеры CAM_F0 и строковый промпт, содержащий текущую скорость, ускорение и прошлые позы агента, после чего генерирует тег с координатами точек траектории движения.
Подробнее
Бенчмарки: navtest PDMS — 0.9227, navtest EPDMS (guarded) — 0.9125, navhard EPDMS — 0.3022.Параметры инференса: greedy decoding, max_new_tokens=512, min_pixels=262144, max_pixels=1048576.
Базовая модель: Qwen3-VL-4B-Instruct (лицензия Apache-2.0), датасет NAVSIM / OpenScene (nuPlan).










Комментарии