К содержимому
Робототехника

Simpler-Faster-WAM (rope-kvadapter-textca)

голова действий для роботов на базе Wan

2 мин чтенияобновлено

Модель представляет собой лёгкий модуль управления (action head) для робототехники, который предсказывает 32 последовательных 7-мерных действия манипулятора по текущему кадру с фронтальной и наручной камер, 8-мерному состоянию робота и текстовой инструкции. Разработка автора TongtongLiang опирается на замороженный бэкбон Simple-WAM, видео-энкодер Wan VAE и текстовый энкодер T5, сохраняя нативное 3D-позиционное кодирование RoPE (метод учёта координат и времени в трансформерах). От базовых версий решение отличается добавлением поканальных аффинных адаптеров для ключей и значений (KV-adapter) и модуля перекрёстного внимания к тексту с маскированием нулевого паддинга T5, что позволяет корректно обрабатывать изменённые и нестандартные формулировки команд. Инструмент пригодится исследователям и инженерам, тестирующим политики управления роботами в симуляторах LIBERO и LIBERO-Plus.

Ключевые особенности

  • Две версии весов только для инференса: обычные (raw) и сглаженные методом экспоненциального скользящего среднего (ema с коэффициентом 0.995) после 10 эпох обучения.
  • Архитектура ActionDiT с 32 обучаемыми запросами действий, 24 головами внимания и статическим слиянием признаков по всем 30 видеослоям бэкбона.
  • Поддержка произвольных текстовых инструкций благодаря переменной длине Flash Attention и фильтрации пустых токенов T5 до подачи в MLP.
  • Готовая интеграция с форматом данных LeRobot и симулятором LIBERO-Plus, включая встроенную нормализацию состояний и инверсию команд захвата.

Что можно сделать

  • Запустить оценку политики управления манипулятором на задачах из наборов libero_spatial, libero_object, libero_goal и libero_10 в симуляторе LIBERO-Plus.
  • Протестировать устойчивость робота к языковым пертурбациям — переформулированным и ранее не встречавшимся текстовым инструкциям с флагом --text.
  • Сравнить полное выполнение всех 32 предсказанных шагов (1,6 секунды при 20 Гц) с режимом скользящего горизонта, где исполняются только первые 8 шагов.

Пример

from inference import Policy
policy = Policy(compile=True, weights="ema")
policy.prepare_instruction(task.language)
actions = policy.from_libero_observation(obs, task.language)
for action in actions:
    obs, reward, done, info = env.step(action.tolist())
    if done:
        break
ПодробнееОфлайн-метрики (EMA / Raw): общий MSE — 0.04243 / 0.04321, MSE на горизонте 0–8 шагов — 0.03150 / 0.03200.
Требования к железу: Python 3.10, PyTorch 2.7.1 (CUDA 12.8), GPU с поддержкой BF16 и Flash SDPA (проверено на NVIDIA H100; дополнительно скачиваются ~12 ГБ весов Simple-WAM, ~2.8 ГБ Wan VAE и ~11.4 ГБ T5).
Ограничения: в репозитории опубликованы только веса головы действий без оптимизатора и базовых моделей; оценки в симуляторе LIBERO-Plus представлены как скрипт интеграции, а не готовый валидированный рейтинг.
Обсудить Telegram 0 27

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 0.2 GB · готовые файлы0.7 GB
  • FP8 / INT8рекомендуемвеса 0.1 GB0.6 GB
  • 4-bitвеса 0.0 GB0.5 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # TongtongLiang/simpler-faster-wam-libero-rope-kvadapter-textca-10ep
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download TongtongLiang/simpler-faster-wam-libero-rope-kvadapter-textca-10ep --local-dir ~/models/simpler-faster-wam-libero-rope-kvadapter-textca-10ep
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии simpler-faster-wam-libero-rope-kvadapter-textca-10ep — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

TongtongLiang/simpler-faster-wam-libero-rope-kvadapter-textca-10ep
Автор
TongtongLiang
Категория
Робототехника
Дата выхода
На сайте

На сайте

Hugging Face

270

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии