NVIDIA Metatron v1

NVIDIA представила Metatron v1 — проект для интерактивного управления гуманоидом Unitree G1 с 29 управляемыми суставами, в первую очередь для браузерных демонстраций и G1 Racer. В основе — MaskedMimic-style transformer student с детерминированными prior и decoder; в репозитории есть native checkpoint и два ONNX-экспорта. Модель рассчитана на исследователей и разработчиков: браузерный сценарий, другие симуляторы и workflow с реальным G1.

🎮 Ключевые особенности

• 🎮 Единая политика для ходьбы, взаимодействия со сценой и восстановления — без отдельного recovery-адаптера.
• 🖥 Два ONNX-экспорта: demo/model.onnx для одного робота и racer/network.onnx для пакета из шести роботов; интерфейсы не взаимозаменяемы.
• ⚡ Инференс FP32 через ONNX Runtime Web с WebGPU или WebAssembly; симуляция — MuJoCo WASM.
• 🔗 Интеграция с ProtoMotions; заявлены и другие симуляторы, и реальный G1, но браузерным файлам нужны свои интерфейсы наблюдений и управления.
• 📌 Native checkpoint — около 459 МБ, ONNX-файлы — около 403 МБ; ONNX-артефакты не предназначены для продолжения обучения.

💡 Пример

Сценарий из карточки: браузерная демонстрация получает состояние G1, восемь исторических сэмплов, историю действий, маскированные цели по позе, стилю и скорости, а также контекст сцены — всего 39 входов. На выходе — joint PD targets, stiffness, damping и raw_action для истории. В G1 Racer наблюдения считаются вне нейросетевого графа, а все шесть роботов оцениваются одним батчем.

Подробнее

Численная проверка экспорта: максимальная абсолютная ошибка действия 5.55e-6 на 60 тестовых состояниях; это не бенчмарк успешности задач.
WebGPU рекомендован; CPU/WASM — запасной вариант и не гарантирует real-time для шести роботов.
Восстановление, баланс и трекинг могут сбоить; модель не является системой предотвращения столкновений или safety controller.
Лицензия модели — NVIDIA Open Model License; исходный код — Apache-2.0; датасеты, motion-клипы и ассеты распространяются отдельно.