taller-destilacion-slm-merged

Это слитая версия (base + LoRA, bf16) на базе SmolLM2-135M-Instruct — 135M параметров. Учебный проект мастерской UAI: большой учитель gpt-6-luna сгенерировал 60 пар вопрос-ответ, а маленькая модель училась имитировать их через SFT на CPU. Домен — объяснение основ генеративного ИИ бизнес-аудитории, но отвечает модель только на английском.

🔍 Ключевые особенности

• 🔍 Слитая версия не требует peft; отдельный LoRA-адаптер весит около 19 MB.
• ⚙ Обучение: LoRA r=16, alpha=32, 3 эпохи, batch 4, lr 5e-4; loss 3.8173 → 2.902.
• 📊 На фиксированном экзамене из 12 вопросов средняя оценка выросла с 2.00 до 2.75 из 10; порог 7/10 не прошёл ни один ответ.
• ⚠ Вне домена модель отвечает как обычная LLM и может выдумывать данные; в карточке прямо сказано: не для реальных решений.
• 💡 60 пар вопрос-ответ на английском; испанский вариант не сработал — оценка ниже 1.1/10.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained('richowell7/taller-destilacion-slm-merged')
model = AutoModelForCausalLM.from_pretrained('richowell7/taller-destilacion-slm-merged')
msgs = [{'role': 'system', 'content': 'You are an expert assistant in generative AI. Answer in English, clearly and briefly.'},
        {'role': 'user', 'content': 'When should a company use RAG instead of fine-tuning?'}]
enc = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors='pt', return_dict=True)
out = model.generate(**enc, max_new_tokens=120, do_sample=False, repetition_penalty=1.15)
print(tok.decode(out[0, enc['input_ids'].shape[1]:], skip_special_tokens=True))

Подробнее

Средняя оценка судьи: 2.00 у базы → 2.75 после дистилляции; допуск (≥7/10) — 0% в обоих случаях.
Лучше всего выросли RAG (1.50 → 3.00) и промпт-инжиниринг (2.00 → 3.33); агенты просели (2.67 → 2.33).
Обучение: 60 пар, LoRA r=16, 3 эпохи, CPU; адаптер ~19 MB лежит отдельно.
Ограничения: учебный проект, не для реальных решений; данные сгенерированы OpenAI, проверьте условия использования.
Лицензия — Apache 2.0, как у базовой SmolLM2.