pill_sorting_medoc_dagger_mix_v2_model
политика для сортировки таблеток роботом
2 min read
Модель представляет собой политику управления роботом-манипулятором, которая учит его сортировать цветные таблетки по отсекам разной формы по текстовой инструкции. Она построена на компактной архитектуре SmolVLA (vision-language-action — мультимодальная модель, связывающая зрение, язык и действия робота) размером 0.45B параметров, дообученной на базе чекпоинта pill_sorting_full_ft_a100_v3_dagger60 в рамках фреймворка LeRobot. В отличие от базовой модели, эта версия дотренирована на расширенном датасете из 253 эпизодов с поддержкой 14 комбинаций цветов и форм ячеек. Подойдёт исследователям робототехники и владельцам манипуляторов типа so_follower, которым нужен готовый пример для экспериментов с имитационным обучением.
Ключевые особенности
- Понимает 14 текстовых команд на раскладку красных, синих, жёлтых и зелёных таблеток в круглые, квадратные, треугольные и крестообразные отсеки.
- Рассчитана на работу с роботом
so_followerи одной фронтальной камерой с разрешением 640×480 пикселей. - Основана на компактной модели SmolVLA (0.45B параметров), которую можно запускать на потребительском железе.
- Обучена на 253 эпизодах (118 678 кадров при 30 FPS) с использованием метода DAgger.
Что можно сделать
- Запустить готовую политику на совместимом манипуляторе
so_followerс фронтальной камерой для сортировки мелких предметов по заданным зонам. - Взять модель или её базу за основу для дальнейшего дообучения в LeRobot на собственном наборе демонстраций под похожие задачи раскладки объектов.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ front: {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=TomasAnderegg/pill_sorting_medoc_dagger_mix_v2_model \
--task="Put the red pill in the circle compartment." \
--duration=60
Подробнее
Обучение: 48 000 шагов, batch size 16, оптимизатор AdamW, learning rate 1e-05, LeRobot 0.6.2.Входы и выходы: вектор состояния из 6 значений и изображение 3×480×640 на входе, вектор действий из 6 значений на выходе.
Оценка: результаты реальных тестов на роботе в карточке пока не опубликованы.
Лицензия: Apache-2.0.










Comments