SmolLM2-1.7B GSM8K DPO
математика на 1.7B, обученная на своих ошибках
2 мин чтения
SmolLM2-1.7B GSM8K DPO — это 1.7B causal decoder-only модель (Llama architecture, семейство SmolLM2) от Eiad Essam для пошагового решения английских школьных задач. Финальная модель учебного курса: SFT на GSM8K, затем DPO на собственных правильных и ошибочных решениях SFT-модели; лицензия Apache 2.0.
Ключевые особенности
- Два этапа: SFT на GSM8K, затем DPO на preference-парах из ответов самой SFT-модели.
- Пары собраны из 2 000 train-вопросов GSM8K, по 4 решения на вопрос; получилось ≈2 640 обучающих пар.
- DPO + NLL-член (рецепт RPO), чтобы не снижать вероятность правильных решений; TRL DPOTrainer + PEFT LoRA, адаптеры merged.
- Обучение на одной NVIDIA L4 в Google Colab, bf16; LoRA r=32, α=64, 2 эпохи.
- Специализирована на английских GSM8K-задачах, это не general-purpose ассистент.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = 'EiadEssam/smollm2-1.7b-gsm8k-v2-dpo'
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map='auto')
messages = [{'role': 'user', 'content': 'Question: Sara has $120. She spends 1/4 on books and $18 on lunch. How much left? Answer:'}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors='pt', return_dict=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=320, do_sample=False)
print(tok.decode(out[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True))
Подробнее
GSM8K test (1 319 задач, 0-shot, LightEval): SFT-only — 40.86% ± 1.35, SFT+DPO — 35.71% ± 1.32, то есть DPO снизил accuracy.Железо: одна NVIDIA L4 (Colab), bf16, LoRA r=32, α=64, 2 эпохи.
Ограничения: только английский и GSM8K-стиль; 1.7B всё ещё ошибается и может зацикливаться. Не использовать без проверки там, где важны расчёты.










Комментарии