Чекпоинты Qwen3-0.6B
полный post-training пайплайн
1 min readupdated
Это репозиторий чекпоинтов, а не одна готовая модель: внутри LoRA-адаптеры и merged-версии для этапов CPT, SFT, DPO, reasoning warm-up и GRPO на базе Qwen3-0.6B (~600M параметров). Сделан на Unsloth, TRL и PEFT, обучение шло на Kaggle с 2× Tesla T4.
Ключевые особенности
- Полный post-training пайплайн: CPT по тексту arXiv, SFT на paper_instructions_300K-v1 (~20k строк), DPO, reasoning warm-up и GRPO.
- LoRA r=32, alpha=32 для CPT/SFT/DPO/warm-up и alpha=64 для GRPO; целевые модули q, k, v, o, gate, up, down.
- Есть отдельные adapter- и merged-чекпоинты; merged можно грузить напрямую через transformers.
- Финальная merged-модель — grpo_qwen06_merged; лучший GRPO-адаптер по eval reward — grpo_qwen06/llm_best_0.
- Обучение: fp16 на T4, merged сохранены в bf16, max sequence length 1024.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
REPO = "NeelContractor/finetuning-checkpoints"
SUB = "models/grpo_qwen06_merged"
tok = AutoTokenizer.from_pretrained(REPO, subfolder=SUB)
model = AutoModelForCausalLM.from_pretrained(
REPO, subfolder=SUB, torch_dtype="auto", device_map="auto"
)
Подробнее
GRPO eval на 64 промптах: total_reward 0.440, neuraltxt_reward 0.486.Ограничение: reasoning warm-up был всего 3 шага, поэтому think-формат не выучен; format/schema rewards = 0.
Чекпоинты учебные и исследовательские: не production, не safety-tuned.
Железо: 2× Tesla T4 (15 GB), fp16; базовая Qwen3-0.6B — Apache-2.0.










Comments