BorjaBG/modelo_servir_2
робототехническая политика для манипулятора
1 мин чтения
Модель обучена методом ACT (Action Chunking with Transformers — метод обучения с подражанием, который предсказывает короткие пакеты действий вместо отдельных шагов) и предназначена для робота-манипулятора типа so_follower. Она позволяет выполнять задачу сервировки миски человеку на основе данных телеуправления. Модель создана с использованием библиотеки LeRobot и задействует фронтальную камеру и камеру на захвате робота. Полезно исследователям и практикам в области домашней и лабораторной робототехники на базе LeRobot.
Ключевые особенности
- Архитектура ACT на базе фреймворка LeRobot для робототехники.
- Обработка визуальных наблюдений с двух камер (спереди и на захвате).
- Нацелена на выполнение конкретной бытовой задачи сервировки.
- Обучена на датасете из 30 эпизодов и 10 325 кадров.
Что можно сделать
- Запустить политику на совместимом роботе so_follower для автономного выполнения задачи сервировки.
- Обучить собственную аналогичную модель на кастомном датасете с помощью утилит LeRobot.
Пример
Запуск готовой политики управления роботом:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--policy.path=BorjaBG/modelo_servir_2 \
--task="Servir el bol a una persona" \
--duration=60Подробнее
Конфигурация обучения: 18 000 шагов, batch size 8, оптимизатор adamw, learning rate 1e-05.Оборудование: камеры 640x480 при 30 FPS, состояние манипулятора размерности 6.
Датасет: BorjaBG/Servir (30 эпизодов, 10 325 кадров).










Комментарии