ACT Policy for RB5 Lunchbox Packing

Небольшая ACT-политика (0,05 млрд параметров) от sunuk000, обученная в LeRobot 0.6.1 на 140 демонстрациях упаковки ланчбокса. Управляет роботом RB5 по трём RGB-кадрам и состоянию манипулятора.

▶ Ключевые особенности

• ▶ Архитектура: ResNet-18 (ImageNet) + transformer размерностью 512, conditional VAE с KL weight 10.
• 🔤 Вход: три RGB-изображения 320×240 (front, top, grip) и состояние RB5 — углы J1–J6 в градусах и раскрытие гриппера 0–1.
• ➕ Выход: чанк из 100 действий (3,3 с при 30 Hz): TCP x, y, z в мм в базовой системе робота и команда гриппера (0 — закрыт, 1 — открыт).
• ➖ Ориентация инструмента не предсказывается: гриппер направлен вниз, yaw следует азимуту базы по правилу.
• 🔜 Обучение: 100 000 шагов, batch size 8, постоянный LR 1e-5, примерно 3,5 прохода по датасету; нормализация по mean/std датасета.

🔜 Пример

На вход подаются три кадра с фиксированных камер и текущие углы RB5. Политика возвращает чанк из 100 действий; перекрывающиеся чанки объединяются temporal ensembling (m = 0,01) в 50 Hz серво-процессе и проходят ту же command shaping, что и при телеуправлении. Код запуска — rb5_lerobot/run.py в GitHub-репозитории.

Подробнее

Финальный чекпоинт — 100 000 шагов; он не выбирался по результатам тестов.
Политика специфична для RB5-850, его камер и рабочей зоны: входные изображения идут с фиксированных позиций.
Лицензия MIT; в GitHub-репозитории есть код, интерфейс робота и видео всех 30 испытаний.