SLM Qwen 0.5B

Это Qwen2.5-0.5B-Instruct, дообученная через LoRA и слитая в полные веса. Академическая работа Universidad Adolfo Ibáñez: модель должна объяснять понятия генеративного ИИ чилийским руководителям. Размер — 0,49 млрд параметров, формат Safetensors FP32, инференс через Transformers без PEFT.

🔍 Ключевые особенности

• 🌐 Испаноязычная модель; карточка и обучение ориентированы на испанский.
• 🔗 База — Qwen/Qwen2.5-0.5B-Instruct; LoRA-адаптер сохранён отдельно, но здесь уже слит с весами.
• 📊 Оценка LLM-судьи: 3,92/10 после LoRA против 3,67/10 у базы; порог 7/10 не пройден.
• ⚙️ Параметры LoRA: r=16, alpha=32, dropout=0,05; 3 эпохи, lr=1e-4, 60 примеров.
• ⚠️ В карточке прямо указаны концептуальные ошибки и запрет на автономные бизнес-р��шения.

💻 Пример

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
repo = "Claudioxis/slm-qwen-0.5b-ia-generativa-chile"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.float32)
messages = [{"role": "user", "content": "Explica qué es un LLM."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt")

Подробнее

Бенчмарк: 3,92/10 после LoRA (база — 3,67/10), 0/12 ответов ≥7 после против 1/12 до.
Обучение: 60 примеров и 12 вопросов экзамена, 3 эпохи, RTX 3070 Ti, CUDA, bfloat16.
Ограничения: маленькая выборка, стохастический LLM-судья, нет независимой человеческой оценки; в тестах ошибки в RAG/LoRA и ответ 401 на 17×23.
Лицензия Apache-2.0; модель полная, FP32.