ECM27 Sim Track ACT

Это набор из трёх ACT-чекпоинтов из репозитория rocochallenge2025 для симуляционного трека RoCo, обученных на исправленных H5-демонстрациях из датасета ecm2027_sim_data. Политика работает в LeRobot и предсказывает 20-мерные действия по трём RGB-камерам 224×224 и 77-мерному состоянию.

📌 Ключевые особенности

• 🎮 Три чекпоинта: 40k, 45k и 50k шагов; в каждом есть pretrained_model/ для инференса и training_state/ для продолжения обучения.
• 🖥 Вход — три RGB-вида 224×224 и 77-мерный state; выход — 20-мерное действие.
• ⚙ Политика LeRobot ACT: chunk size 100, один шаг действия.
• 📊 Обучение: 173 эпизода (155 train / 18 validation), 894 635 кадров при 30 FPS; 50 000 шагов, batch size 16, learning rate 1e-5, seed 1000.
• 🛡 Стек: LeRobot 0.6.1, PyTorch 2.11, CUDA 12.8; допуск по таймстампам видео — 0.001 с.

💬 Пример

Сценарий: загрузите один из чекпоинтов в LeRobot, подайте три синхронизированные RGB-камеры 224×224 и 77-мерный вектор состояния — политика вернёт 20-мерное действие с горизонтом chunk size 100. Для инференса используйте каталог pretrained_model/, для дообучения — training_state/.

Подробнее

Валидационный loss: 0.3723 (40k), 0.3738 (45k), 0.3761 (50k); минимум 0.3697 на шаге 49k не вошёл в сохранённые чекпоинты.
Финальный training loss — 0.222. Это held-out objective, а не success rate задачи.
Чекпоинты сохранялись каждые 5 000 шагов.