Qwen3.5-9B equational-theory GRPO
чекпоинты для оценки задач по теории равенств
2 мин чтения
Это набор чекпоинтов полностью асинхронного GRPO-запуска от U-WIN на базе Qwen/Qwen3.5-9B (9,65 млрд параметров). Модель тренировали на задачах по теории равенств в формате Lean→NL и оценивали на наборе sair-stage2. Ветки checkpoint-10…checkpoint-130 хранят политику после соответствующего числа обновлений оптимизатора.
Ключевые особенности
- База — Qwen3.5-9B, 9,65 млрд параметров; обучалась только языковая часть, vision tower и MTP-голова скопированы без изменений.
- Полностью асинхронный GRPO на HAI B200: 3 GPU тренера, 3 rollout и 2 judge.
- 13 веток checkpoint-10…checkpoint-130; main — самый новый чекпоинт.
- Reward считает замороженный Qwen3.8-27B judge по рубрике; его JSON содержит assessment и score_0_to_7, reward = score/7, reference solution и truth label судье не показываются.
- Обучение — 2182 задачи, все TRUE; eval — 205 задач (99 TRUE / 106 FALSE), 4 сэмпла на задачу каждые 20 rollout.
Пример
Сценарий из карточки: на вход подаётся natural-language задача по теории равенств, модель-кандидат выдаёт решение, а замороженный judge оценивает его по рубрике от 0 до 7. В eval используется 4 сэмпла на задачу; reward при обучении — score/7.
Подробнее
Eval на 205 задачах × 4 сэмпла (score/7): к rollout 80 overall 0.503; к rollout 120 TRUE 0.744, FALSE 0.245.Веса bf16, 9,65 млрд параметров; отдельных требований к VRAM в карточке нет.
Ограничения: все train-промпты TRUE; обучалась только LM; vision tower и MTP-голова не тренировались.










Комментарии