sunithaAI-small

sunithaAI-small — это instruction-модель на базе Qwen2.5-0.5B-Instruct от разработчика Riya. Поверх базы обучен PEFT LoRA-адаптер, а вся конструкция помещается примерно в 0.4 ГБ VRAM благодаря 4-битной квантизации NF4.

🔥 Ключевые особенности

• ✨ LoRA-адаптер с rank=16 и alpha=32, обученный на модулях q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj и down_proj.
• 💻 4-битная NF4 double-quantization: около 0.4 ГБ VRAM, заявлен запуск на бесплатном GPU, CPU, edge-устройствах и мобильных.
• 🔥 База — 494M параметров, адаптер добавляет 4.2M LoRA-параметров; скорость ~47 tokens/sec против ~48 у базовой модели.
• 🤖 Основное отличие — Persona Adherence: модель настроена под персонаж sunithaAI, а не под общего ассистента.
• ⭐ Лицензия Apache-2.0, язык — английский.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")
tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct", quantization_config=bnb, device_map="auto")
model = PeftModel.from_pretrained(base, "shiva123782/sunithaAI-small")
prompt = "<|im_start|>user\nWho created you?<|im_end|>\n<|im_start|>assistant\n"
print(tok.decode(model.generate(**tok(prompt, return_tensors="pt").to(model.device), max_new_tokens=80)[0], skip_special_tokens=True))