К содержимому
Робототехника

Camera20 Stage 2 XLeRobot EEF

нейросеть для управления двуруким роботом

2 мин чтения

Набор дообученных чекпоинтов для реального двурукого робота XLeRobot, решающих задачи манипуляции предметами: перекладывание красно-зелёных блоков, работу с фруктами и уборку в выдвижной ящик. Модель принимает текущее состояние манипуляторов и кадры с трёх RGB-камер (головной и двух на запястьях), а на выходе предсказывает блок из 16 будущих абсолютных целевых позиций EEF (End-Effector — положение и ориентация рабочего органа робота в пространстве) и степень сжатия непрерывных захватов. В основе лежит архитектура Qwen3.5-4B с 32 слоями MoT (Mixture-of-Transformers — мультимодальная архитектура, разделяющая обработку текста/изображений и действий), дообученная командой ssrgroup-xlerobot поверх предобученного чекпоинта Camera20 Stage 2. В отличие от более поздней версии с бинарными захватами, здесь сохранено плавное непрерывное управление захватом в шкале 0–100 и индивидуальная нормализация под каждую задачу. Релиз пригодится исследователям и инженерам в области VLA (Vision-Language-Action — моделей, связывающих зрение, язык и действия роботов).

Ключевые особенности

  • Трёхкамерное зрение: обрабатывает синхронные изображения 224×224 с камеры на голове и двух камер на запястьях левой и правой руки.
  • Абсолютные координаты EEF: выдаёт массив формы (16, 16) на ~0,53 секунды вперёд (при 30 Гц) в локальных координатах base_link каждой руки без накопления ошибки от инкрементальных шагов.
  • Готовые чекпоинты под задачи: в репозитории лежат отдельные веса для блоков (green_red_blocks), фруктов (15k и 30k шагов) и ящика (15k шагов), не требующие отдельной загрузки базовой Qwen.
  • Стабилизация EMA: все опубликованные чекпоинты сохранены с применением экспоненциального скользящего среднего (EMA 0.999) и flow-интеграцией в 4 шага.

Что можно сделать

  • Запустить манипуляции на XLeRobot: подключить политику к контроллеру двурукого робота для сортировки блоков, захвата фруктов или закрытия ящиков.
  • Сравнить этапы обучения: протестировать разницу в поведении между промежуточными чекпоинтами на 15 000 шагов и финальными на 30 000 шагов.
  • Использовать как базу для своих задач: адаптировать код инференса Camera20Policy и формат пространства действий Common23 под собственную телеоперацию и датасеты.

Пример

from camera20_inference import Camera20Policy

policy = Camera20Policy(".", "green_red_blocks")
result = policy.infer({
    "state": state_eef,
    "images": {"head": head_rgb, "left_wrist": left_wrist_rgb, "right_wrist": right_wrist_rgb},
})
actions = result["actions"]  # (16, 16), абсолютные координаты EEF
ПодробнееМетрики (hold-out flow loss): фрукты 15k — 0.047537, фрукты 30k — 0.072744, ящик 15k — 0.055822 (не отражают напрямую процент успеха на реальном роботе).
Обучение: 30 000 шагов на 36 траекториях на задачу, global batch 128, нормализация по квантилям q01/q99.
Среда и железо: проверено на NVIDIA H100 (Python 3.10, PyTorch 2.8.0+cu128, Transformers 5.3.0, Flash Linear Attention 0.3.2, Triton 3.4.0).
Ограничения: выход не ограничен по амплитуде и требует внешнего IK/декартова контроллера; реальные тесты rollout для этой ревизии не проводились.
Обсудить Telegram 0

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 11 GB · готовые файлы12 GB
  • FP8 / INT8рекомендуемвеса 5.3 GB6.3 GB
  • 4-bitвеса 3.0 GB3.8 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 5060 Ti 8GB · BF16 — от RTX 5080

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # ssrgroup-xlerobot/camera20-stage2-xlerobot-eef-20261113
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download ssrgroup-xlerobot/camera20-stage2-xlerobot-eef-20261113 --local-dir ~/models/camera20-stage2-xlerobot-eef-20261113
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к camera20-stage2-xlerobot-eef-20261113
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии camera20-stage2-xlerobot-eef-20261113 — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

ssrgroup-xlerobot/camera20-stage2-xlerobot-eef-20261113
Автор
ssrgroup-xlerobot
Категория
Робототехника
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Робототехника

HumanWAM-Goal-Base

HumanWAM-Goal-Base