Camera20 Stage 2 XLeRobot EEF
нейросеть для управления двуруким роботом
2 мин чтения
Набор дообученных чекпоинтов для реального двурукого робота XLeRobot, решающих задачи манипуляции предметами: перекладывание красно-зелёных блоков, работу с фруктами и уборку в выдвижной ящик. Модель принимает текущее состояние манипуляторов и кадры с трёх RGB-камер (головной и двух на запястьях), а на выходе предсказывает блок из 16 будущих абсолютных целевых позиций EEF (End-Effector — положение и ориентация рабочего органа робота в пространстве) и степень сжатия непрерывных захватов. В основе лежит архитектура Qwen3.5-4B с 32 слоями MoT (Mixture-of-Transformers — мультимодальная архитектура, разделяющая обработку текста/изображений и действий), дообученная командой ssrgroup-xlerobot поверх предобученного чекпоинта Camera20 Stage 2. В отличие от более поздней версии с бинарными захватами, здесь сохранено плавное непрерывное управление захватом в шкале 0–100 и индивидуальная нормализация под каждую задачу. Релиз пригодится исследователям и инженерам в области VLA (Vision-Language-Action — моделей, связывающих зрение, язык и действия роботов).
Ключевые особенности
- Трёхкамерное зрение: обрабатывает синхронные изображения 224×224 с камеры на голове и двух камер на запястьях левой и правой руки.
- Абсолютные координаты EEF: выдаёт массив формы (16, 16) на ~0,53 секунды вперёд (при 30 Гц) в локальных координатах
base_linkкаждой руки без накопления ошибки от инкрементальных шагов. - Готовые чекпоинты под задачи: в репозитории лежат отдельные веса для блоков (
green_red_blocks), фруктов (15k и 30k шагов) и ящика (15k шагов), не требующие отдельной загрузки базовой Qwen. - Стабилизация EMA: все опубликованные чекпоинты сохранены с применением экспоненциального скользящего среднего (EMA 0.999) и flow-интеграцией в 4 шага.
Что можно сделать
- Запустить манипуляции на XLeRobot: подключить политику к контроллеру двурукого робота для сортировки блоков, захвата фруктов или закрытия ящиков.
- Сравнить этапы обучения: протестировать разницу в поведении между промежуточными чекпоинтами на 15 000 шагов и финальными на 30 000 шагов.
- Использовать как базу для своих задач: адаптировать код инференса
Camera20Policyи формат пространства действий Common23 под собственную телеоперацию и датасеты.
Пример
from camera20_inference import Camera20Policy
policy = Camera20Policy(".", "green_red_blocks")
result = policy.infer({
"state": state_eef,
"images": {"head": head_rgb, "left_wrist": left_wrist_rgb, "right_wrist": right_wrist_rgb},
})
actions = result["actions"] # (16, 16), абсолютные координаты EEFПодробнее
Метрики (hold-out flow loss): фрукты 15k — 0.047537, фрукты 30k — 0.072744, ящик 15k — 0.055822 (не отражают напрямую процент успеха на реальном роботе).Обучение: 30 000 шагов на 36 траекториях на задачу, global batch 128, нормализация по квантилям q01/q99.
Среда и железо: проверено на NVIDIA H100 (Python 3.10, PyTorch 2.8.0+cu128, Transformers 5.3.0, Flash Linear Attention 0.3.2, Triton 3.4.0).
Ограничения: выход не ограничен по амплитуде и требует внешнего IK/декартова контроллера; реальные тесты rollout для этой ревизии не проводились.










Комментарии