track_v3_dual-image
политика вождения для мини-болида F1TENTH
2 мин чтенияобновлено
Модель представляет собой обученную политику управления для автономного мини-робота платформы f1tenth. Она принимает изображение сразу с двух бортовых камер (camera1 и camera2) и текущее состояние машины, а на выходе выдает команды движения для прохождения кругов по треку по часовой и против часовой стрелки. В основе лежит компактная VLA-модель (Vision-Language-Action — нейросеть, связывающая зрение, текстовые команды и физические действия) lerobot/smolvla_base размером 0.45B параметров от автора Szymon-Ilnicki. В отличие от базовой модели, эта версия дообучена под конкретную задачу автономной езды с двумя видеопотоками с помощью фреймворка LeRobot. Пригодится разработчикам и энтузиастам робототехники, работающим с платформой F1TENTH или создающим собственные политики визуальной навигации на базе SmolVLA.
Ключевые особенности
- Двухкамерное зрение: анализирует два видеопотока с разрешением 424×240 пикселей (
camera1иcamera2) вместе с вектором состояния робота размерности 2. - Движение в обе стороны: обучена выполнять текстовые команды для прохождения кругов по треку как по часовой стрелке, так и против нее.
- Компактный размер: база SmolVLA на 0.45B параметров рассчитана на запуск на потребительском железе без тяжелых серверных ускорителей.
- Интеграция с LeRobot: полностью совместима со стандартным пайплайном
lerobot-rolloutдля быстрого развертывания на реальном роботе.
Что можно сделать
- Запустить автономное прохождение кругов на реальном шасси
f1tenth, подключив две камеры и указав направление движения в текстовом промпте. - Использовать чекпоинт как готовую отправную точку для дообучения под собственную трассу или конфигурацию камер через
lerobot-train. - Изучить работу мультимодальных политик SmolVLA на практике в задачах визуального управления транспортом.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=f1tenth \
--robot.port= \
--robot.cameras="{ camera1: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, camera2: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=Szymon-Ilnicki/track_v3_dual-image \
--task="complete laps around the track anticlockwise" \
--duration=60
Подробнее
Обучение: 20 000 шагов (batch size 8, lr 0.0001, оптимизатор adamw) на датасетеlocal/track_v3 из 12 эпизодов (4870 кадров при 10 FPS).Версия фреймворка: LeRobot 0.7.0, лицензия Apache 2.0.
Ограничения: результаты тестирования на реальном роботе в карточке пока не приведены; названия камер при запуске должны строго совпадать с ключами из обучения.










Комментарии