taai2-destilado-qwen05b

Это LoRA-адаптер поверх Qwen/Qwen2.5-0.5B-Instruct, полученный чёрно-ящичной дистилляцией в рамках учебного мастеркласса по дистилляции (магистратура по ИИ, UAI, октябрь 2026). Автор прямо называет модель учебным упражнением, а не продуктом. Ассистент на испанском объясняет основы генеративного ИИ — LLM, промпт-инжиниринг, RAG, агентов и fine-tuning — с бизнес-примерами для чилийских руководителей.

🔤 Ключевые особенности

• ➕ LoRA поверх Qwen2.5-0.5B-Instruct: SFT, r=16, alpha=32, модули из списка в карточке.
• 🔤 Испанский язык и узкий домен: объяснение концепций генеративного ИИ для бизнеса.
• ✖ Обучение на 300 парах «вопрос–ответ» от gpt-6-luna; ответы не длиннее 45 слов.
• ▶ На экзамене из 12 вопросов: средняя оценка 3.42 → 5.17; ответы ≥7 — 0% → 8%.
• 🔜 Обучение в ноутбуке на Apple Silicon без GPU; лицензия адаптера — Apache 2.0.

➗ Пример запуска

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = "Qwen/Qwen2.5-0.5B-Instruct"
tok = AutoTokenizer.from_pretrained(base)
modelo = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base), "Mithoz/taai2-destilado-qwen05b")
msgs = [{"role": "system", "content": "Eres un asistente experto en IA generativa. Responde en español, de forma clara y breve."}, {"role": "user", "content": "¿Para qué sirve RAG en una clínica?"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True)
out = modelo.generate(**ids, max_new_tokens=200, repetition_penalty=1.15)

Подробнее

Экзамен: 12 вопросов, средняя оценка 3.42 → 5.17; прошли порог ≥7: 0% → 8% (тема «дообучение»: 2 → 7).
Обучение: 300 пар «вопрос–ответ» от gpt-6-luna, ответы ≤45 слов; LoRA r=16, alpha=32, 3 эпохи, lr=0.001, Apple Silicon без GPU.
Ограничения: 0,5B и 300 примеров — ошибается, повторяется и выдумывает; вне домена хуже базовой модели. Лицензия Apache 2.0; данные от OpenAI — проверяйте условия.