Qwen3.5-2B Distilled GRPO Uncensored
маленькая модель, которая рассуждает и реже отказывает
2 мин чтения
Файнтюн Qwen/Qwen3.5-2B от KARAGE-KUN: дистилляция chain-of-thought плюс uncensored-инструктаж (SFT), а затем RL через GRPO на GSM8K. LoRA-адаптеры вмерджены в базовую модель, так что это самостоятельный чекпоинт в fp16 safetensors весом 4.43 ГБ.
Ключевые особенности
- SFT-этап на 6 000 примерах: 4 500 трасс рассуждений из OpenThoughts-114k и 1 500 примеров без отказов из Dolphin.
- LoRA r=16 — 16 819 200 обучаемых параметров, всего 0.7542% модели.
- Второй этап — GRPO: 2 000 промптов GSM8K, 150 шагов, 4 генерации на промпт.
- Награда: +1.0 за верный финальный ответ, +0.2 за правильный формат (reasoning-блок и
\boxed{}). - В репозитории лежат отдельные адаптеры
sft_adapter/иgrpo_adapter/по 33.69 МБ — для повторного мерджа или продолжения обучения.
Пример
from transformers import Qwen3_5ForConditionalGeneration, AutoProcessor
model_id = "KARAGE-KUN/Qwen3.5-2B-Distilled-GRPO-Uncensored"
model = Qwen3_5ForConditionalGeneration.from_pretrained(model_id, torch_dtype="auto", device_map="auto")
processor = AutoProcessor.from_pretrained(model_id)
messages = [{"role": "user", "content": [{"type": "text", "text": "A baker makes 12 muffins per tray and bakes 7 trays. He sells 59 muffins. How many are left?"}]}]
inputs = processor.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512)
print(processor.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
Подробнее
GSM8K на 30 вопросах: 0.600 → 0.667. Отказы на 8 пробах: 0.25 → 0.125 — это малые внутренние наборы, не лидерборд.Вес fp16 — 4.43 ГБ, обучение заняло 8 ч 32 мин на Kaggle 2×T4 (TRL / PEFT).
Обучение было текстовым: vision-башня унаследована от базовой модели и после файнтюна не оценивалась.
Модель может отвечать на запросы, от которых отказываются safety-настроенные модели; на 2B-масштабе возможны ошибки в рассуждениях и фактах.










Комментарии