labelfree-runs

Набор сырых чекпоинтов, логов и результатов оценки от JaeWooShin: две тренировки по 300 шагов от Qwen2.5-Math-1.5B. Одна — majority-vote GRPO без меток с rank-1 штрафом вокруг entropy-gradient направления, вторая — INTUITOR с self-certainty наградой. Обучение шло на одном GPU, по 64 промпта × 16 сэмплов на шаг.

👀 Ключевые особенности

• 💻 Чекпоинты каждые 50 шагов в формате verl; step-300 модели также экспортированы в transformers.
• 📓 Для обоих прогонов есть train.log, Hydra-конфиги, validation и полные generation-файлы.
• ⭐ INTUITOR потребовал два патча к коду кита; они лежат в qwen_intuitor_s0/patches/.
• 📌 Средний балл по математике: 26.2 у band_entropy_grad и 27.6 у INTUITOR.
• 🖱 Вне домена средний балл наоборот: 30.7 против 28.1.

🤖 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "JaeWooShin/labelfree-runs-2026-11-07"
sub = "qwen_intuitor_s0/eval_step300/export"
tokenizer = AutoTokenizer.from_pretrained(repo, subfolder=sub)
model = AutoModelForCausalLM.from_pretrained(repo, subfolder=sub)

Подробнее

MATH-500 на step 300: 59.7 у #6 и 64.9 у #7; на AIME24 — 6.8 и 7.5.
Железо: один NVIDIA RTX PRO 5000 Blackwell (48 GB) на прогон.
О��раничение: по одному seed на метод, разница около 2 пунктов может быть шумом.
Чекпоинты 50–250 шагов — только в формате verl, для transformers их нужно конвертировать.