PRISM-1B

PRISM-1B — LoRA/QLoRA-адаптер для openbmb/MiniCPM5-1B от ftpxain. Автор дистиллировал сигналы GPT-5, Claude Mythos, Gemini 3.5 и STEM-треков в модель на 1.0B параметров; обучение шло на ноутбучной RTX 4050 с 6 GB VRAM.

🔥 Ключевые особенности

• 🤖 QLoRA: NF4 4-bit, r=16, alpha=32, dropout=0.05; обучались q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.
• 🔥 Обучение уложилось в одну NVIDIA GeForce RTX 4050 Laptop GPU с 6 GB VRAM.
• 💯 HumanEval Pass@1: 68.0% → 72.0% (+4.0 п.п.).
• 🚀 GSM8K: 4.0% → 32.0% (в 8 раз); MATH-500: 0.0% → 4.0%.
• 👀 Perplexity на held-out: distilled reasoning 32.42 → 1.21, Python coding 23.66 → 2.21.
• 👍 Это PEFT-адаптер: нужна базовая модель openbmb/MiniCPM5-1B.

👀 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = 'openbmb/MiniCPM5-1B'
tok = AutoTokenizer.from_pretrained(base, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(base, device_map='auto', trust_remote_code=True)
model = PeftModel.from_pretrained(model, 'ftpxain/PRISM-1B-MiniCPM')
prompt = tok.apply_chat_template([{'role':'user','content':'Write a Python async rate limiter'}], tokenize=False, add_generation_prompt=True)
print(tok.decode(model.generate(**tok(prompt, return_tensors='pt').to(model.device), max_new_tokens=128)[0], skip_special_tokens=True))

Подробнее

Бенчмарки: HumanEval 72.0% Pass@1; GSM8K 32.0%; MATH-500 4.0%.
Железо обучения: RTX 4050 Laptop, 6 GB VRAM; метод — QLoRA NF4 4-bit.
Ограничения: это адаптер, а не самостоятельная модель; язык — английский; абсолютные результаты MATH-500 и GSM8K остаются скро��ными.