nberezny/smolvla_smoke
робототехническая политика для uFactory Lite 6
2 мин чтенияобновлено
Эта модель представляет собой специализированную политику управления для роботов, обученную с помощью библиотеки LeRobot (набор инструментов для машинного обучения в реальной робототехнике). Модель создана на базе компактной визуально-языковой архитектуры SmolVLA (vision-language-action модель) и предназначена для выполнения конкретной манипуляционной задачи — последовательной укладки блоков разных цветов. На входе политика принимает состояние механизмов и изображения с трех камер, а на выходе выдает управляющие действия для робота. Релиз будет полезен исследователям и инженерам, занимающимся имитационным обучением робототехники в симуляторе.
Ключевые особенности
- Построена на базе эффективной архитектуры SmolVLA (компактная vision-language-action модель)
- Обучена с использованием фреймворка LeRobot для задач имитационного обучения
- Обрабатывает визуальные данные с трех различных ракурсов (камеры overhead, wrist и state)
- Настроена для работы с симулятором робота uFactory Lite 6
Что можно сделать
- Запустить готовую политику управления на совместимом роботе или в симуляции с помощью утилит LeRobot
- Использовать датасет uaberezny/lite6_stack_dense для изучения траекторий укладки блоков
- Дообучить модель на собственных демонстрациях для решения аналогичных манипуляционных задач
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=ufactory_lite6_sim_hybrid_dense_rel \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=nberezny/smolvla_smoke \
--task="stack the blocks: red at the bottom, yellow, blue on top" \
--duration=60Подробнее
Лицензия: apache-2.0Базовая модель: lerobot/smolvla_base
Датасет: 4924 эпизода, 143843 кадра при 20 FPS
Параметры обучения: 200 шагов, батч 32, оптимизатор adamw, learning rate 0.0001










Комментарии