ACT Policy for RB5 Lunchbox Packing
политика упаковки ланчбокса для RB5
2 min read
Небольшая ACT-политика (0,05 млрд параметров) от sunuk000, обученная в LeRobot 0.6.1 на 140 демонстрациях упаковки ланчбокса. Управляет роботом RB5 по трём RGB-кадрам и состоянию манипулятора.
Ключевые особенности
- Архитектура: ResNet-18 (ImageNet) + transformer размерностью 512, conditional VAE с KL weight 10.
- Вход: три RGB-изображения 320×240 (front, top, grip) и состояние RB5 — углы J1–J6 в градусах и раскрытие гриппера 0–1.
- Выход: чанк из 100 действий (3,3 с при 30 Hz): TCP x, y, z в мм в базовой системе робота и команда гриппера (0 — закрыт, 1 — открыт).
- Ориентация инструмента не предсказывается: гриппер направлен вниз, yaw следует азимуту базы по правилу.
- Обучение: 100 000 шагов, batch size 8, постоянный LR 1e-5, примерно 3,5 прохода по датасету; нормализация по mean/std датасета.
Пример
На вход подаются три кадра с фиксированных камер и текущие углы RB5. Политика возвращает чанк из 100 действий; перекрывающиеся чанки объединяются temporal ensembling (m = 0,01) в 50 Hz серво-процессе и проходят ту же command shaping, что и при телеуправлении. Код запуска — rb5_lerobot/run.py в GitHub-репозитории.
Подробнее
Финальный чекпоинт — 100 000 шагов; он не выбирался по результатам тестов.Политика специфична для RB5-850, его камер и рабочей зоны: входные изображения идут с фиксированных позиций.
Лицензия MIT; в GitHub-репозитории есть код, интерфейс робота и видео всех 30 испытаний.










Comments