AgileX pour FT IDM

Это полный native-трансформер LingBot-VA от MarshCurrant после action-specific supervised fine-tuning pour-чекпоинта. Несмотря на имя, адаптация шла на четырёх задачах: pour, pick, opendraw и stack3bowls. Это не LoRA-адаптер: веса не нужно накладывать на исходный трансформер.

🔥 Ключевые особенности

• 🔥 Чекпоинт step 950 выбран по минимальному fixed validation action loss 0.0159488310 в 1000-шаговом прогоне.
• 💻 Обучены только action_embedder, action_proj_out и action time-conditioning модули; shared transformer blocks, video-модули, VAE и T5 заморожены.
• 📍 Изменены 10 action-specific тензоров, остальные 829 — без изменений; это native transformer export, а не LeRobot PreTrainedPolicy.
• ❗ Нужно использовать включённый normalization.json и сохранять порядок камер и action-каналов; статистики из deployment/test не пересчитывать.
• ❌ В релизе нет LeRobot processors, frozen VAE, T5 encoder и tokenizer — нужен совместимый LingBot-VA и те же frozen-компоненты.

💻 Пример

from huggingface_hub import snapshot_download

model_root = snapshot_download(
    repo_id="MarshCurrant/agilex_pour_ft_idm",
    local_dir="checkpoints/agilex_pour_ft_idm",
)
transformer_path = model_root + "/transformer"

Подробнее

Валидационный action loss: 0.0159488310 (шаг 950 из 1000).
Параметров: 5 088 872 670 всего, 67 058 718 обучаемых; shared-блоки, video-модули, VAE и T5 заморожены.
Нормализация q01/q99 считалась по 500 эпизодам, включая validation; для независимой проверки нужны новые сессии.
Это не заявка о real-robot success rate: fixed validation loss не равен closed-loop успеху.
Перед железом проверяйте лимиты суставов, gripper, масштабирование действий и аварийный стоп.