smolvla_policy_omy_gelsight_snack_all_nogel
политика управления роботом на базе SmolVLA
2 min readupdated
Эта модель представляет собой обученную политику действий для робототехники, созданную на основе компактной архитектуры SmolVLA (Vision-Language-Action — нейросеть, объединяющая зрение, понимание языка и генерацию команд движения) размером 0.45B параметров от автора WoojongKim. Она преобразует визуальные данные и текстовые инструкции в конкретные моторные действия робота, а судя по названию, адаптирована для задач манипуляции со снеками с использованием тактильных сенсоров GelSight. В отличие от тяжелых моделей для роботов, база lerobot/smolvla_base оптимизирована для запуска на обычном потребительском железе без больших вычислительных затрат. Разработка пригодится исследователям робототехники и энтузиастам, работающим в экосистеме LeRobot.
Ключевые особенности
- Компактный размер 0.45B параметров на базе
lerobot/smolvla_base, подходящий для локального запуска на потребительском оборудовании. - Полная интеграция с фреймворком LeRobot от Hugging Face для быстрой оценки и развертывания на реальных манипуляторах.
- Ориентация на мультимодальное управление: модель связывает визуальное восприятие, языковые команды и физические действия.
- Открытая лицензия Apache-2.0, позволяющая свободно использовать и модифицировать веса в своих проектах.
Что можно сделать
- Запустить инференс и протестировать работу политики на совместимом роботе-манипуляторе (например,
so100_follower) через утилитуlerobot-record. - Использовать чекпоинт как отправную точку для дообучения под собственные задачи захвата и перемещения мелких предметов.
Пример
lerobot-record \
--robot.type=so100_follower \
--dataset.repo_id=user/eval_snack \
--policy.path=WoojongKim/smolvla_policy_omy_gelsight_snack_all_nogel \
--episodes=10
Подробнее
Базовая модель: lerobot/smolvla_base (0.45B параметров)Фреймворк: LeRobot (задача: robotics)
Лицензия: Apache-2.0
Требования: оптимизирована для потребительского железа (consumer-grade hardware), для обучения используется CUDA.










Comments