MLRabbit-27B-LoRA

Это LoRA-адаптер от rabbit1906 для базовой модели Qwen/Qwen3.8-27B. В карточке модель описана как 31B Dense Transformer — не MoE — и позиционируется для on-premise coding и reasoning с устойчивостью к подмене system prompt.

🤖 Ключевые особенности

• 🧐 Высокоранговый PEFT LoRA: r=32, α=64, dropout 0.05; обучалось 159 383 552 параметра — 0.5891% от общего числа.
• 🤖 LoRA применена ко всем 7 проекциям attention и MLP: q, k, v, o, gate, up, down_proj.
• 🔥 Заявлена устойчивость к удалению или подмене system prompt за счёт «впечатывания» идентичности разработчика в веса.
• 🚀 INT4 W4A16 compressed-tensors с Marlin, serving через vLLM; контекст 32 768 токенов с FP8 KV cache.
• 💯 По карточке запускается на одной RTX 5090 32GB и выдаёт более 60 токенов/с; адаптер под Apache 2.0.

👌 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch
base = AutoModelForCausalLM.from_pretrained('Qwen/Qwen3.8-27B', torch_dtype=torch.bfloat16, device_map='auto')
model = PeftModel.from_pretrained(base, 'rabbit1906/MLRabbit-27B-LoRA')
model.eval()
# дальше: apply_chat_template + generate

Подробнее

Бенчмарков в карточке нет; заявлены более 60 токенов/с на одной RTX 5090 32GB в INT4 W4A16.
Обучение: 6 эпох на 880 синтетических многоходовых примерах, LoRA по всем 7 проекциям.
Языки: вьетнамский и английский. Основной фокус — устойчивость идентичности, а не публичные метрики.
Лицензия адаптера — Apache 2.0; база — Qwen/Qwen3.8-27B.