Muse Glimmer 30B + RL для PARTNR

Это LoRA-адаптер к Muse Glimmer 30B, обученный online GRPO планировать действия сразу для двух агентов в бенчмарке PARTNR от Meta (Habitat 3.0: робот Spot и смоделированный человек выполняют бытовую задачу по естественно-языковой инструкции). Единственная награда — успешное выполнение задачи, без человеческих демонстраций и разметки.

👏 Ключевые особенности

• 🤝 Планировщик для обоих агентов: модель выдаёт высокоуровневый план, а не управляет моторами.
• 📝 Обучение online GRPO: 200 обновлений, 8 роллаутов на задачу, LoRA rank 32, alpha 64.
• 👍 На PARTNR val: 810 из 1000 задач против 782 у базовой модели; доля выполненных условий 0.893 против 0.871.
• 😎 Меньше эпизодов, упирающихся в лимит 20 000 шагов: 109 против 193.
• 🤓 Адаптер хранится в fp32; для воспроизведения нужен NativeToolsPlanner с low reasoning strength.

📝 Пример

hf download georgesung/Muse-Glimmer-30B-Habitat-PARTNR-Lora --local-dir glimmer-rl

VLLM_ALLOW_RUNTIME_LORA_UPDATING=1 vllm serve meta-models/Muse-Glimmer-30B \
    --served-model-name glimmer --dtype bfloat16 --max-model-len 32768 \
    --language-model-only --enable-lora --max-lora-rank 64 --port 8021

Подробнее

Прирост +2.8 п.п. (SE 1.1), p = 0.015; лучше на 76 задачах, хуже на 48.
Только PARTNR и симуляция с идеализированными навыками; на реальном роботе не проверялось.
Выигрыш скромный, запуски шумные: базовая модель иногда лучше.
Ещё 100 обновлений (p273) дали 793 и после перепроверки не улучшили базу.