Unified Inertial Encoder

Это чекпоинт из статьи Open-IO об инерциальном энкодере для человеческого и гуманоидного движения. Модель на 55.6M параметров обучена на движении людей и кинематически ретаргетированном движении G1 и предназначена для одометрии и оценки траектории в робототехнике.

✨ Ключевые особенности

• 🦾 Один энкодер обслуживает и человеческое, и гуманоидное движение.
• ✅ Zero-shot переносится на физического Unitree G1.
• 📉 Оценивает среднюю ошибку скорости (AVE) и ошибку траектории (ATE_GT, ATE_Pred).
• 🤝 Чекпоинт содержит только веса: EMA, bf16, 55.6M параметров.
• 🧘 Подходит для оценки и файнтюна, но не для точного продолжения обучения: optimizer state нет.
• ⬇ Для запуска eval нужен CUDA GPU, а папку .hydra нужно держать рядом с checkpoints.

💥 Пример

hf download Open-IO/Unified-Inertial-Encoder --local-dir "$RUN"
python -m src.eval_foundation --ckpt "$RUN/checkpoints/unified_encoder.ckpt" --data_from "$RUN" --dataset Humanoid_SuperOdom_NPZ_Processed_Language --json real_g1.json

Подробнее

Бенчмарки из статьи: Nymeria — AVE 0.026; BONES-Seed (G1) — AVE 0.024, ATE_GT 0.101. AVE — средняя ошибка скорости, м/с.
Real-G1 клипы не использовались для градиентного обучения, но их оценки влияли на выбор чекпоинта.
Для eval нужен CUDA GPU; чекпоинт хранит только веса, поэтому точное продолжение обучения недоступно.