Camera20 Stage2 → XLeRobot
модель управления двуруким роботом с бинарным захватом
2 min readupdated
Это VLA-модель (Vision-Language-Action — нейросеть, которая по картинке с камер и текстовой задаче предсказывает движения робота) для платформы XLeRobot. Она построена на базе Qwen3.5-4B с 32 слоями MoT (Mixture of Transformers) и инициализирована с предобученного чекпоинта на 283 350 шагах. На входе модель принимает текущие координаты манипуляторов и снимки с трёх камер, а на выходе выдаёт траекторию абсолютных координат и бинарную команду для захватов (открыть или закрыть). Подойдёт инженерам и исследователям робототехники, работающим с двурукими манипуляторами и платформами вроде SO101.
Ключевые особенности
- Работает с тремя RGB-камерами одновременно (головная, левое и правое запястье), приводя кадры к разрешению 224×224, и строит прогноз на 16 шагов вперёд (около 0.53 секунды при частоте 30 Гц).
- Использует бинарное управление захватами (0 или 1) с откалиброванными порогами вместо непрерывных значений, но умеет возвращать команды и в исходном масштабе датчиков.
- В репозитории лежат готовые EMA-чекпоинты для двух задач: перекладывание зелёно-красных блоков (
final, 30 000 шагов) и работа с фруктами (промежуточные шаги 5k, 10k и 15k). - Веса Qwen и MoT уже упакованы внутрь
model.pt, а для запуска в комплекте идёт автономный скрипт инференсаinfer_eef.py.
Что можно сделать
- Развернуть политику управления в контуре двурукого робота XLeRobot для сортировки или перекладывания предметов (кубиков и фруктов) по камерам.
- Интегрировать Python-класс
Camera20Policyв свой робототехнический рантайм, чтобы получать целевые координаты EEF (конечного звена манипулятора) и передавать их в контроллер обратной кинематики. - Сравнить поведение модели на разных этапах дообучения на задаче с фруктами (5k, 10k и 15k шагов) в симуляции или на стенде.
Пример
from camera20_inference import Camera20Policy
policy = Camera20Policy(".", "fruit", checkpoint="step_005000")
result = policy.infer({
"state": state_eef,
"images": {"head": head_rgb, "left_wrist": left_wrist_rgb, "right_wrist": right_wrist_rgb},
})
actions_binary = result["actions"]Подробнее
Обучение: 30 000 шагов (full-parameter), batch 128 на 8 GPU, lr 2.5e-5, EMA 0.999; по 36 траекторий на задачу.Метрики (EMA validation flow loss):
green_red_blocks/final — 0.016180; fruit/step_005000 — 0.008298.Среда проверки: NVIDIA H100, Python 3.10, PyTorch 2.8.0+cu128, Transformers 5.3.0, Flash Linear Attention 0.3.2.
Ограничения: модели не проходили проверку на реальном роботе (нет real-robot rollout), задачи эстафеты и укладки ещё не выложены; лицензия на веса не указана.










Comments