obstacle-avoidance-vla
навигация робота по текстовым командам
2 мин чтенияобновлено
Набор чекпоинтов для обучения виртуальной машинки на колесах Меканум находить заданные объекты и объезжать препятствия в симуляторе Genesis. Модель получает текстовую инструкцию (например, «доехать до красного цилиндра») и ищет цель в комнате с преградами и похожими отвлекающими предметами. В основе политики управления лежит VLA (Vision-Language-Action — модель, связывающая зрение, текст и действия) lerobot/smolvla_base, а для версий с обзором сверху добавлен сервер на базе SmolVLM2-500M-Video-Instruct, который строит короткий маршрут. В отличие от базового имитационного обучения, связка с подкреплением (PPO) и навигацией по верхней камере поднимает успешность прохождения комнат с 74% до 98%. Репозиторий пригодится разработчикам и студентам в сфере Embodied AI для воспроизведения экспериментов без долгого обучения с нуля.
Ключевые особенности
- Поэтапная эволюция: в архиве 4 варианта весов — от базового имитационного обучения (Behaviour Cloning) до дообучения с подкреплением (PPO) и работы в паре с внешней камерой.
- Двухкомпонентная архитектура: в продвинутых версиях сама машинка отвечает за локальное управление на базе
smolVLA, а внешний сервер наSmolVLM2анализирует вид сверху и передает токены маршрута. - Модульные веса PPO: файлы
best.ptсодержат только обновленные части (action expert, critic и jitter size) и загружаются поверх базовых чекпоинтов имитации. - Снижение столкновений: добавление маршрутизации сверху и практики PPO сократило число касаний препятствий с 62% до 19%.
Что можно сделать
- Запустить готовые тесты в симуляторе: разложить веса по папкам проекта
obstacle_avoidanceи сразу прогнать оценку в ноутбуках 04–07 без многочасового обучения. - Сравнить подходы к навигации: наглядно протестировать разницу между управлением только по фронтальной камере и гибридной схемой с внешним VLM-сервером.
- Использовать как базу для дообучения: взять предобученные головы
smolVLAдля экспериментов с собственными сценариями в симуляторе Genesis.
Пример
# Запуск теста PPO-машинки с навигацией от сервера верхней камеры
python scripts/car06_tests.py --car runs/checkpoints/car06_R_long_s0.pt \
--ppo runs/rl/car07_route_ppo_s0/best.pt --map runs/checkpoints/server_map_long_s0.pt \
--out nb07_results.json
Подробнее
Метрики (128 тестовых комнат): имитация — 74% успеха (62% столкновений), PPO — 76% (43%), маршрут сверху — 94% (22%), маршрут + PPO — 98% успеха и 96% при скрытой на старте цели (19% столкновений).Базовые модели
lerobot/smolvla_base и HuggingFaceTB/SmolVLM2-500M-Video-Instruct скачиваются автоматически при запуске.Ограничения: обучение проходило исключительно на синтетических данных в симуляторе Genesis на одном сиде; на реальном роботе модели не проверялись.










Комментарии