Cosmos3-Edge-Policy-DROID

Это merged-файнтюн модели nvidia/Cosmos3-Edge-Policy-DROID (~3,86B параметров) для управления роботом в задачах RoboLab/DROID. Автор дообучил базовую action policy через generator LoRA на 200 успешных демонстрациях и влил адаптер в веса.

✔ Ключевые особенности

• 🔥 LoRA rank 32, alpha 64: generator q/k/v/o, MLP up/down, vae2llm, llm2vae и DROID action boundaries.
• 📌 Understanding tower заморожен, текстовые K/V закешированы; обучение заняло 2 000 шагов.
• 📚 Датасет: 200 успешных RoboLab DROID-демонстраций, 8 задач по 25 эпизодов, все использованы в обучении.
• 💻 Адаптер влит в базовые веса: репозиторий загружается как обычный чекпойнт, отличаются только два safetensors.
• 📱 Сохранены 32-step action chunk, 15 fps conditioning и домен droid_lerobot.

💻 Пример

python -m cosmos_framework.scripts.action_policy_server_robolab \
  --checkpoint-path <local snapshot of this repo> \
  --port 8000 --format-prompt-as-json True \
  --guidance-interval 960 1001

Подробнее

Проверка экспорта на тренировочных кадрах: средний MAE 0,1895 → 0,1068; это не оценка успеха задач.
Обучение: 2× A100-80GB, BF16, FSDP, 2 000 шагов, LR 1e-4.
Closed-loop success в RoboLab ещё не измерялся; для inference также скачивается Wan2.2 VAE.