Qwen2.5-Coder-0.5B Python GRPO POC
эксперимент с LoRA без подтверждённого улучшения
2 мин чтения
Это LoRA-адаптер для Qwen/Qwen2.5-Coder-0.5B-Instruct, обученный через TRL GRPO на подмножестве MBPP за 200 шагов. Автор публикует именно финальный артефакт эксперимента, а не checkpoint, выбранный по validation: подтверждённого улучшения по validation нет.
Ключевые особенности
- Адаптер, а не самостоятельные веса: нужна базовая
Qwen/Qwen2.5-Coder-0.5B-Instruct. - TRL GRPO + LoRA: rank 16, alpha 32, 200 optimizer steps, 4 кандидата на промпт, temperature 0.8.
- Reward — доля пройденных оригинальных тестов MBPP через OpenEnv Coding executor в ограниченном Docker-контейнере.
- На validation лучший обученный checkpoint решил 27/79 против 29/79 у базовой модели; финальный адаптер — 24/79.
- На test только финальный адаптер: 106/300 против 97/300, +3.0 п.п.; 95% интервал примерно [+0.3, +5.7] п.п.
- Это filtered MBPP POC, не EvalPlus; один seed, возможны semantic overlap и pretraining contamination.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
base_id = 'Qwen/Qwen2.5-Coder-0.5B-Instruct'
adapter_id = 'nitishpandey04/qwen2.5-coder-0.5b-python-grpo-poc'
tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base = AutoModelForCausalLM.from_pretrained(base_id, dtype=torch.bfloat16, device_map='auto')
model = PeftModel.from_pretrained(base, adapter_id).eval()
Подробнее
Тест: 106/300 против 97/300 у базовой; validation: 24/79 против 29/79, лучший обученный checkpoint — 27/79.95% интервал test-only прироста: примерно [+0.3, +5.7] п.п.; это не доказывает общее улучшение.
Обучение: 200 шагов, LoRA r=16, alpha=32, LR 1e-5, KL 0.02; одна NVIDIA RTX 5060 Ti 16 GB, пик PyTorch allocation ~1.12 GiB.
Ограничения: filtered MBPP POC, не EvalPlus; один seed; возможны semantic overlap и pretraining contamination.










Комментарии