OMX SmolVLA
файнтюн для управления роботом-манипулятором
2 мин чтенияобновлено
Модель представляет собой дообученную версию VLA-архитектуры (Vision-Language-Action — нейросеть, которая связывает изображение с камер, текстовую команду и физические движения робота) lerobot/smolvla_base размером 0.45B параметров от команды omx-baseline-team. На входе она получает видеопотоки с двух камер и текстовую инструкцию, а на выходе генерирует траекторию движений для манипулятора omx_follower, чтобы перемещать красный объект в квадрат с крестиком. В отличие от базовой версии, здесь дообучен только модуль действий (action expert), тогда как визуальный энкодер заморожен. Пригодится разработчикам и энтузиастам робототехники, работающим с фреймворком LeRobot.
Ключевые особенности
- Основана на
lerobot/smolvla_base(0.45B параметров) и совместима с версией библиотеки LeRobot 0.6.1. - Обучена на объединённом датасете из 60 эпизодов (17 819 кадров) с перемещением объекта из нижних углов в верхний левый.
- Важная особенность конфига: ключи камер перепутаны местами (
topотвечает за камеру на схвате, аwrist— за верхний обзор), поэтому при запуске требуется точный--rename_map. - Работает в точности fp32, весит около 1.8 ГБ и требует GPU NVIDIA или чип Apple Silicon (MPS), так как CPU слишком медленный.
Что можно сделать
- Развернуть политику управления на манипуляторе
omx_followerдля отработки захвата и переноса объектов по заданной текстовой команде. - Использовать чекпоинт как базовый ориентир (baseline) при тестировании инференса в режиме RTC (Real-Time Chunking) в LeRobot.
Пример
lerobot-rollout \
--policy.path=omx-baseline-team/omx-smolvla-try30-merged60-10000-20261113 \
--policy.device=cuda --inference.type=rtc \
--robot.type=omx_follower --robot.port=/dev/ttyACM0 \
--rename_map='{"observation.images.wrist": "observation.images.camera1", "observation.images.top": "observation.images.camera2"}' \
--task="Move the red object to the square marked with a cross." \
--duration=30
Подробнее
Обучение: 10 000 шагов, batch size 16, оптимизатор AdamW (lr 1e-4 с прогревом 1000 шагов и косинусным затуханием до 2.5e-6).Железо: необходима видеокарта NVIDIA (CUDA) или Apple Silicon (MPS); загрузка потребует ~1.8 ГБ + токенизатор SmolVLM2.
Ограничения: модель тестировалась только офлайн и ещё не запускалась на реальном роботе — авторы рекомендуют первые тесты по 10–30 секунд с кнопкой экстренной остановки.










Комментарии