Qwen 0.5B

Адаптер LoRA от Claudioxis для Qwen/Qwen2.5-0.5B-Instruct (~494 млн параметров). Обучен на испанском объяснять генеративный ИИ руководителям чилийских компаний на бизнес-примерах; это учебный эксперимент, а не модель с нуля.

⚙ Ключевые особенности

• 🧬 База — Qwen2.5-0.5B-Instruct; адаптер ~8,80 млн параметров LoRA (336 тензоров, 35,2 МБ).
• 🌐 Испанский язык; 60 обучающих примеров и 12 экзаменационных вопросов по LLM, prompt engineering, RAG, агентам, fine-tuning и оценке/LLMOps.
• 🎯 Обучение: 3 эпохи, lr 1e-4, LoRA r=16, alpha=32, dropout=0,05; RTX 3070 Ti, bfloat16.
• 📀 В репозитории только адаптер, конфиг, tokenizer базы и агрегированные метрики; веса базы скачиваются отдельно.
• ❕ Оценка LLM-судьи: 3,92/10 против 3,67 у базы; улучшение +0,25, но ни одна из 12 работ не достигла порога 7/10 после LoRA.

💡 Пример

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

base_id = "Qwen/Qwen2.5-0.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(base_id)
base = AutoModelForCausalLM.from_pretrained(base_id)
model = PeftModel.from_pretrained(base, ".")  # папка с адаптером

Подробнее

Средний балл: 3,92/10 (база 3,67), +0,25; ≥7/10: 1/12 до и 0/12 после.
Ограничения: малая выборка, стохастический судья, нет независимой человеческой оценки и статистического доказательства улучшения.
В отчёте есть концептуальные и арифметические ошибки: например, 17×23 → 401. Не использовать для автономных бизнес-решений.
Железо: CPU совместим, но нужна память под полную базовую модель; обучение шло на RTX 3070 Ti.