smolvla_rebot_sort_v1
нейросеть для сортировки ключей роботом
2 мин чтенияобновлено
Компактная VLA-модель (Vision-Language-Action — нейросеть, объединяющая зрение, понимание текста и управление действиями) для робототехники, обученная на базе lerobot/smolvla_base (0,45 млрд параметров) в экосистеме LeRobot. Она принимает изображения с трёх камер и текущее состояние суставов манипулятора rebot_b601_follower, а на выходе генерирует команды для выполнения конкретной физической задачи — поднятия ключей и их перемещения в нужный контейнер. В отличие от тяжеловесных моделей, архитектура SmolVLA рассчитана на запуск на обычном потребительском железе без ущерба для эффективности. Пригодится разработчикам и энтузиастам робототехники, работающим с платформой LeRobot и совместимыми манипуляторами.
Ключевые особенности
- Работает с тремя видеопотоками (
front_wide,gripper,high_oblique) в разрешении 256×256 пикселей и вектором состояния из 6 параметров. - Генерирует 7-мерный вектор действий для точного управления звеньями и захватом робота.
- Базируется на компактной архитектуре SmolVLA, оптимизированной для локального развёртывания на пользовательских видеокартах.
- Дообучена на датасете RoboCrafty/rebot_sort_v1, состоящем из 35 эпизодов (19 177 кадров при 30 FPS).
Что можно сделать
- Запустить готовую политику на роботе
rebot_b601_followerдля автоматического захвата ключей и их сортировки в заданную корзину. - Использовать чекпоинт как отправную точку для дальнейшего дообучения под схожие задачи захвата и перекладывания мелких предметов в среде LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=rebot_b601_follower \
--robot.port= \
--policy.path=niru-5/smolvla_rebot_sort_v1_2026-11-15_02-15-27 \
--task="pickup the keys and put it in the designated bin" \
--duration=60
Подробнее
Обучение: 10 000 шагов, batch size 128, оптимизатор AdamW, learning rate 0.0001, LeRobot 0.7.1.Оценка: результаты тестирования на реальном роботе в карточке пока не приведены.
Лицензия: Apache-2.0.










Комментарии