SciEdu_steps_20261119_relabel_100k_pi05
политика для управления роборуками в образовательных экспериментах
2 мин чтения
Модель представляет собой специализированный чекпоинт на базе архитектуры pi05 (Vision-Language-Action модель от Physical Intelligence), адаптированный под фреймворк LeRobot (библиотека для реальной робототехники на PyTorch). Она обучена на датасете из 2915 эпизодов для лабораторных манипуляций с химическим и физическим оборудованием. На входе модель принимает состояние робота и изображения с трёх камер (основной и двух на запястьях манипуляторов), а на выходе выдаёт управляющие действия. Полезно исследователям и инженерам, работающим с роборуками типа bi_openarm_follower в учебных или научных лабораториях.
Ключевые особенности
- Базовая модель: обучена на основе lerobot/pi05_base с использованием библиотеки LeRobot.
- Мультимодальность: обрабатывает 16-мерное состояние системы и визуальные данные с трёх камер высокого разрешения.
- Широкий спектр задач: включает манипуляции с листьями, лабораторными стаканами, пипетками, микроскопами, электроскопами и реактивами.
- Готовность к запуску: содержит конфигурацию обучения на 100 000 шагов с оптимизатором AdamW.
Что можно сделать
- Запустить на роботе: применить готовую политику управления для выполнения лабораторных операций с помощью скрипта
lerobot-rollout. - Провести эксперименты: автоматизировать процесс проведения школьных или студенческих опытов по химии и физике с помощью роборуки.
- Дообучить модель: использовать чекпоинт для дальнейшего файнтюна на собственных датасетах через
lerobot-train.
Пример
Запуск готовой политики управления роботом для выполнения задачи перемещения объекта:
lerobot-rollout \
--strategy.type=base \
--robot.type=bi_openarm_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=leapshared/SciEdu_steps_20261119_relabel_100k_pi05 \
--task="put the leaf on the right side" \
--duration=60Подробнее
Лицензия: apache-2.0Размерность: 4.14 миллиардов параметров
Датасет: 2915 эпизодов, 903 521 кадр (30 FPS)
Параметры обучения: 100 000 шагов, batch size 32, learning rate 2.5e-05, seed 42










Комментарии