G1 simple-pick: три политики управления для гуманоидного робота
2 мин чтенияобновлено
Набор из трёх обученных политик (нейросетевых стратегий действий) для двурукого гуманоидного робота G1. Все модели решают конкретную задачу манипуляции: взять розовый кубик ближайшей рукой и положить его в зелёный контейнер, выдавая 16-мерные команды положения рабочих органов (EEF — end-effector, схват манипулятора). Внутри собраны чекпоинты разных архитектур — FastWAM на базе видеомодели Wan2.2-TI2V-5B, ImageWAM на основе FLUX.2-klein-4B с LoRA (небольшой надстройкой для дообучения) и π0.5 из фреймворка openpi — вместе с кодом серверов инференса. Репозиторий пригодится исследователям робототехники для запуска, тестирования и прямого сравнения разных подходов на платформе G1.
Ключевые особенности
- Три архитектуры в одном месте: полный файнтюн FastWAM (шаг 3300, около 6 эпох), ImageWAM с LoRA (шаг 6000) и модель π0.5 (шаг 19999 из 20000 в форматах JAX и PyTorch).
- Единая задача и формат данных: обучение прошло на 91 эпизоде для генерации 16-мерных действий двух рук в пространстве EEF.
- Готовый код для развёртывания: включены скрипты серверов инференса, конфиги, статистики нормализации, кэш текстовых эмбеддингов и общий кодек
g1-clientна базе msgpack. - Работа со строгим промптом: политики настроены под побайтово точную команду
Pick up the pink cube with the nearer arm and place it into the green bin.
Что можно сделать
- Сравнить скорость отклика и точность выполнения захвата кубика между видео-моделью (FastWAM), генератором изображений (ImageWAM) и VLA-политикой (π0.5) на одном стенде.
- Поднять три независимых сервера управления роботом G1 на разных портах (8000, 8010 и 8020) и переключаться между ними через единый клиент
g1-client. - Использовать конвертированный PyTorch-чекпоинт модели π0.5 для интеграции в собственные пайплайны без зависимости от JAX.
Пример
cd fastwam
RUN=simple_pick_eef_1e-4/2026-10-22_12-49-19
python serve_stack_cube_eef.py --config runs/$RUN/config.yaml \
--ckpt runs/$RUN/checkpoints/weights/step_003300.pt \
--norm-stats runs/$RUN/dataset_stats.json \
--state-space eef --action-space eef --port 8010
Подробнее
Обучено на 91 эпизоде задачи simple-pick-eef (16-мерные действия EEF для двух рук).Базовые веса в репозиторий не включены: отдельно требуются Wan2.2-TI2V-5B (VAE + T5) и ActionDiT для FastWAM, FLUX.2-klein-4B для ImageWAM и токенизатор PaliGemma из openpi для π0.5.
Для режимов работы в пространстве суставов (
--state-space joint) понадобится URDF-файл G1 и установка библиотеки pin.









Комментарии