Qwen3.5-9B equational-theory RL

Это набор чекпоинтов полностью асинхронного GRPO-прогона lean2nl-megatron-async-s3j2t3-v2rubric-v3-20261104 на узле HAI B200. База — U-WIN/qwen35-9b-equational-theory-sair-syncards-a-notes50m-cards123-ntp-kl-0p01, размер 9,65 млрд параметров, задача — text-generation. Обучен только языковой модуль; vision tower и MTP-голова скопированы без изменений.

📌 Ключевые особенности

• 🧨 Полностью асинхронный GRPO: 3 GPU на trainer, 3 на rollout и 2 на judge.
• 📌 Промпты — 2182 задачи теории равенств, все TRUE; 54 с конечным носителем.
• 📊 Оценка на 205 задачах (99 TRUE / 106 FALSE), по 4 сэмпла, каждые 20 rollout.
• ⚙ Награда — рубричная оценка замороженным локальным Qwen3.8-27B judge; reward = score/7.
• 🔄 Ветки checkpoint-10…checkpoint-180: по 10 optimizer updates, main — новейший чекпоинт.
• ⚠ Специализированный research-релиз: готового кода инференса в карточке нет.

💡 Пример

Сценарий из карточки: на вход подаётся задача по теории равенств, а модель должна дать текстовый ответ, который judge оценивает по рубрике от 0 до 7. Готового сниппета запуска нет — для инференса нужна своя обвязка вокруг transformers-чекпоинта.

Подробнее

Оценка score/7 на sair-stage2: 0,420 на rollout 0 → 0,527 на rollout 140; для TRUE-задач — до 0,748, для FALSE — 0,321.
Железо обучения: HAI B200, 3 trainer / 3 rollout / 2 judge GPU; веса bf16.
Ограничения: узкая предметная область, только чекпоинты, eval берётся по rollout id (веса отстают не более чем на один update).