GR00T N1.6 3B

Это vision-language-action политика на базе nvidia/GR00T-N1.6-3B (3,29 млрд параметров), дообученная под двуручного мобильного манипулятора RB-Y1 (rby1m_wujihand2: две 7-DoF руки и две 20-DoF кисти). Задача ровно одна — перевернуть пластиковый пакет. На входе две ego-камеры и 54-D состояние, на выходе 54-D команды на 30 шагов вперёд.

🧩 Ключевые особенности

• 🦾 Дообучение на 50 эпизодах и 60 797 кадрах с камер ego_left и ego_right.
• ⚙ 54-D state/action: правая рука 7, правая кисть 20, левая рука 7, левая кисть 20; абсолютные позиции в радианах.
• 🎯 Горизонт действия — 30 шагов, то есть 1,0 с при 30 fps.
• 🚐 База, торс и голова исключены из схемы: в записях они практически не двигались, политика ими не управляет.
• 🧊 В репозитории только веса для инференса; optimizer-шарды и состояние обучения не приложены.

📀 Пример

from gr00t.model.policy import Gr00tPolicy
from gr00t.data.embodiment_tags import EmbodimentTag
policy = Gr00tPolicy(
    model_path="arunos728/gr00t-n16-rby1-flip-plastic-bag",
    embodiment_tag=EmbodimentTag.NEW_EMBODIMENT,
    modality_config=your_modality_config,
    device="cuda",
)

Подробнее

Обучение: 2× NVIDIA H100 80GB, global batch 64, 30 000 шагов, bf16, около 4 часов.
Training loss: 0.0028; среднее последних 10 логов — 0.00248.
Ограничения: одна задача, одна embodiment-схема, фиксированное расположение камер; оценки на реальном роботе в карточке нет.
Продолжить обучение с этого чекпоинта нельзя — сохранены только inference-веса.