GRPO Qwen2.5-0.5B GSM8K

Это LoRA-адаптер поверх Qwen/Qwen2.5-0.5B-Instruct, обученный GRPO на train-сплите openai/gsm8k. Rank 16, alpha 32, dropout 0.05; 200 шагов на одной Colab T4. Автор называет результат research artifact, а не production math solver.

🔥 Ключевые особенности

• 🌖 LoRA rank 16, alpha 32, dropout 0.05 поверх Qwen2.5-0.5B-Instruct.
• 📌 Reward = exact numeric correctness + 0.5 × exact output-format reward.
• 📓 200 GRPO-шагов, 8 генераций на промпт, max completion 512 tokens, FP16, около 1ч45м на Colab T4.
• ✅ На фиксированных 50 примерах GSM8K strict accuracy выросла с 34.0% до 46.0% (+12.0 pp), но p=0.109.
• ❌ Format adherence 0%: адаптер не выучил теги <think>...</think><answer>...</answer>; нужен defensive parsing.

💻 Пример

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = "Qwen/Qwen2.5-0.5B-Instruct"
model = AutoModelForCausalLM.from_pretrained(base)
model = PeftModel.from_pretrained(model, "NeelContractor/grpo-qwen2.5-0.5b-gsm8k")
tokenizer = AutoTokenizer.from_pretrained(base)
# затем apply_chat_template() и generate(max_new_tokens=512)
print("adapter loaded")

Подробнее

Strict accuracy: 34.0% → 46.0% на 50 примерах; McNemar p=0.109 — не значимо.
Lenient upper bound: 50.0% → 54.0% (+4.0 pp).
Format adherence 0%; format reward не сработал ни на одном шаге.
Ограничения: 50 примеров, один seed, только финальный ответ; не для production и high-stakes задач.