GLM-4.7-Flash-abliterated

Это abliterated-версия zai-org/GLM-4.7-Flash от Torbeck: 30B параметров, 3B активных на токен, архитектура GLM-4 MoE Lite с Multi-head Latent Attention (MLA) и контекстом 128K. Модель сделана через Abliterix, чтобы снизить число отказов, и заявлена для исследований.

🤖 Ключевые особенности

• 🤖 Архитектура: GLM-4 MoE Lite, 47 слоёв (1 dense + 46 MoE), 64 routed + 1 shared expert, top-4 routing.
• 📓 Контекст: 128K токенов; точность BF16.
• ✅ Отказы: 1/100 против 92/100 у оригинала по оценке LLM-судьи на 100 вредных промптах.
• 🎨 KL divergence: 0.0133 — общие способности почти как у исходной модели.
• 💻 Запуск: BF16 ~56 GB VRAM, INT8 ~30 GB, NF4 ~15 GB.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Torbeck/GLM-4.7-Flash-abliterated",
    torch_dtype="auto", device_map="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained("Torbeck/GLM-4.7-Flash-abliterated", trust_remote_code=True)

Подробнее

KL divergence 0.0133; отказы 1/100 против 92/100 у оригинала.
VRAM: BF16 ~56 GB (A100 80GB/H100), INT8 ~30 GB (A40/RTX 4090), NF4 ~15 GB (RTX 3090/4080).
Лицензия upstream — MIT; это независимый производный чекпойнт, не официальный релиз.
Только для исследований: защитные ограничения ослаблены или сняты, возможен небезопасный контент.