VivekSai07/xvla_hfteam_box_middle
файнтюн для роборук
1 мин чтения
Модель X-VLA (0.88B) дообучена на демонстрациях телеуправления для синхронной работы двух роборук SO-101. Архитектура обрабатывает данные с трёх камер, положения 12 суставов и текстовую задачу, выдавая управляющие действия. Файнтюн (дообучение весов модели под конкретную задачу) создан в рамках хакатона для совместного подъёма коробки и перемещения её в центр. Решение полезно инженерам и исследователям, работающим с библиотекой LeRobot.
Ключевые особенности
- Базовая модель: lerobot/xvla-base (0.88 млрд параметров).
- Входные данные: три камеры, 12 позиций суставов и текст задачи.
- Управление: генерация чанков действий на 1 секунду для двух роборук.
- Обучение: 7000 шагов с батчем 16 и bf16 autocast (автоматическим смешанным типом данных).
Что можно сделать
- Запустить оценку поведения модели на двух роборуках SO-101.
- Протестировать совместный перенос коробки по текстовой инструкции.
- Применить веса для экспериментов с многорукими системами.
Пример
lerobot-rollout --strategy.type=base \
--policy.path=VivekSai07/xvla_hfteam_box_middle \
--robot.type=bi_so_follower \
--task="Lift the box with both arms and place it in the middle" --duration=30Подробнее
Обучение: 41 эпизод телеуправления (20 556 кадров на 30 fps).Метрики: тренировочный loss снизился с 0.79 до 0.003 на 7000 шаге.
Качество: средняя ошибка на обучающих кадрах составляет 0.9 градусов.
Ограничения: успешность выполнения на реальном железе пока не замерялась.










Комментарии