OpenWAM coffee making (Galaxea R1 Lite)
нейросеть для приготовления капсульного кофе роботом
2 мин чтенияобновлено
Файнтюн модели робототехники OpenWAM-α от автора zekaili, обученный управлять двуруким роботом Galaxea R1 Lite (с манипуляторами A1X) для приготовления кофе в капсульной кофемашине. На вход модель получает потоковое видео с трёх камер и текущее состояние манипуляторов, а на выходе генерирует последовательность целевых координат и положений для обеих рук робота. В основе лежит базовый чекпоинт OpenWAM-Alpha-Pretrain-Foundation-Model с видео-бэкбоном Wan2.2-TI2V-5B (модель генерации видео на 5 млрд параметров, адаптированная под предсказание действий). В отличие от общей базовой версии, этот чекпоинт дообучен на конкретном многоэтапном сценарии взаимодействия с бытовым прибором и пригодится исследователям робототехники и разработчикам VLA-систем (Vision-Language-Action — моделей, связывающих зрение, текст и действия).
Ключевые особенности
- Работает с тремя ракурсами одновременно: камерой на голове робота (head_left_rgb) и двумя камерами на запястьях (left_wrist_rgb, right_wrist_rgb), объединёнными в L-образный кадр 384×320.
- Использует представление end-effector (EEF — положение и ориентация захвата в пространстве): 20-мерный вектор координат, поворотов (rot6d) и состояния схватов для левой и правой руки.
- Прогнозирует действия чанками (пакетами) на 32 шага вперёд на основе 33-кадрового временного окна при частоте записи 15 fps.
- Построена на базе Wan2.2-TI2V-5B с архитектурой dual-system joint self-attention и взаимным маскированием (mutual mask).
Что можно сделать
- Развернуть policy-сервер для управления реальным роботом Galaxea R1 Lite или его цифровым двойником в симуляторе с пересчётом EEF-координат в углы суставов через обратную кинематику (IK).
- Использовать чекпоинт как базовую политику (policy) для бенчмаркинга многошаговых бимануальных задач в среде OpenWAM и LeRobot v2.1.
- Дообучить модель на собственных датасетах манипуляций с бытовыми предметами, используя приложенную статистику нормализации normalization_stats.npy.
Пример
bash scripts/deploy.sh <путь_к_директории_модели>
# Текстовая инструкция, которую необходимо передавать клиенту при инференсе:
# Make a cup of coffee with the capsule coffee machine: insert a coffee capsule with the right arm, place the paper cup under the spout with the left arm, press the brew button, and take the cup of coffee away.Подробнее
Обучение: 10 000 шагов на 399 эпизодах (258 562 кадра) из датасета zhuoyang20/foreact_coffee_making_data.Железо при обучении: 2 ноды по 8 GPU NVIDIA H100 (глобальный батч 64, формат bf16, ZeRO-2, ~2.5 эпохи).
Гиперпараметры: оптимизатор AdamW, lr 1e-4, косинусное расписание с 5% warmup, weight decay 0.01.
Ограничения: ридер данных r1lite.py пока не включён в основной репозиторий OpenWAM, а пути в config.yaml указаны как заглушки.










Комментарии