HumanWAM-Goal-Base
базовая модель для роботов на 60 000 часах видео
2 мин чтенияобновлено
HumanWAM-Goal-Base — фундаментальный чекпоинт из проекта Open-HumanWAM от исследователей DAGroup-PKU для управления двурукими роботами (bimanual manipulation). Модель работает как совместный генератор будущего видео и последовательности из 48 шагов действий (action chunk): она принимает текстовую инструкцию, целевое изображение (goal image), текущие кадры с камер на голове и запястьях с историей 0.5 и 2 секунды, а также состояние робота. Чекпоинт обучен на гибридном датасете объёмом 60 000 часов (46 тысяч часов видео действий людей от первого лица и 14 тысяч часов данных с разных роботов). Главное отличие модели — способность выполнять задачи в режиме zero-shot (без дообучения под конкретную задачу) через унифицированное пространство координат рабочих органов (shared-EEF) и служить базой для адаптации под новых роботов.
Ключевые особенности
- Совместное предсказание видео и действий: модель одновременно генерирует визуальный прогноз и траекторию из 48 шагов, опираясь на текст, целевой кадр и историю с нескольких камер.
- Zero-shot управление без дообучения: поддерживает исполнение команд в единой системе координат камеры головы (head-camera NWU frame) для двуруких манипуляторов с 6 степенями свободы (6-DoF).
- Удобная база для пост-тренинга: включает калибровочные границы нормализации (
robot.json) для быстрой адаптации под конкретные симуляторы и физические платформы черезgoalwam_train. - Быстрый семплинг и стандартный формат: веса экспортированы в единый набор
safetensors(включаяtransformerвbf16,vaeи токенизатор) и используют семплер UniPC на 10 шагов.
Что можно сделать
- Запустить zero-shot управление роботом: протестировать выполнение манипуляционных задач по текстовой команде и целевому фото без предварительного файнтюнинга модели.
- Дообучить под свою робототехническую платформу: использовать чекпоинт как стартовую инициализацию в
goalwam_trainдля адаптации под конкретный манипулятор или симулятор вроде RoboTwin 2.0. - Исследовать перенос навыков от человека к роботу: применять модель как основу для экспериментов с world-action архитектурами, обученными на эгоцентрических видео людей.
Пример
from goalwam import GoalWAM
with GoalWAM("HumanWAM-Goal-Base", backend="native") as model:
result = model.predict(observation)
Подробнее
Метрики: 13.94% среднего успеха в zero-shot на бенчмарке RoboTwin 2.0 и 30.5% на 20 реальных физических задачах без целевого дообучения.Обучение: 60 000 часов гибридных данных (46k часов эгоцентрических видео людей + 14k часов данных роботов), сохранены EMA-веса на шаге 168 000.
Конфигурация: трансформатор в
bf16, семплер UniPC (10 шагов, flow shift 2.0), внутренняя калибровка схвата gap_m (раскрытие 0.10 м, эталонная ширина 0.12 м).









Комментарии