SmolLM2-360M SFT
маленькая модель с блоком рассуждений
1 min readupdated
Это SFT-файнтюн SmolLM2-360M от Sph3inxz: LoRA r=32/alpha=64 поверх attention- и MLP-проекций, после чего веса объединены. Модель обучали на 2 057 диалогах из smoltalk2 через TRL SFTTrainer.
Ключевые особенности
- LoRA + merge: r=32, alpha=64, все attention- и MLP-проекции, затем слияние с базовыми весами.
- Данные: split smoltalk_everyday_convs_reasoning_Qwen3_32B_think, 2 057 диалогов, 1 эпоха, 129 шагов.
- Обучение: lr 2e-4 cosine, effective batch 16, max length 1024, bf16; RTX 4050 Laptop 6 GB, около 52 минут.
- ChatML: шаблон от SmolLM2-360M-Instruct; ответы начинаются с блока <think>, как в обучающих данных.
- Метрики: loss 2.175 на шаге 5 и 1.256 на последнем лог-шаге, mean token accuracy 0.67.
- Ограничение: модель маленькая, обучение короткое — качество может быть неровным.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
m = "Sph3inxz/smollm2-360m-sft-smoltalk2"
tok = AutoTokenizer.from_pretrained(m)
model = AutoModelForCausalLM.from_pretrained(m)
ids = tok.apply_chat_template([{"role": "user", "content": "Give me two tips for staying focused while studying."}], add_generation_prompt=True, return_tensors="pt", return_dict=True)
print(tok.decode(model.generate(**ids, max_new_tokens=200)[0]))
Подробнее
Loss: 2.175 на шаге 5 → 1.256 на последнем лог-шаге; mean token accuracy 0.67.Обучение: 1 эпоха, 129 шагов, около 52 минут на RTX 4050 Laptop 6 GB.
Ограничение: 360M и короткий SFT — качество может быть неровным; модель сделана для smol-course.










Comments