GLM-4.7-Flash

Это abliterated-версия GLM-4.7-Flash от jsantillana: 30B-A3B MoE-модель примерно на 31,22 млрд параметров, языки — английский и китайский. В карточке она описана как сильная модель в классе 30B для лёгкого деплоя с балансом производительности и эффективности.

🧩 Ключевые особенности

• 🧩 Архитектура 30B-A3B MoE: около 31,22 млрд параметров по метаданным.
• ⚡ Сильные бенчмарки: AIME 25 — 91.6, GPQA — 75.2, SWE-bench Verified — 59.2.
• ⚙ Локальный запуск через transformers, vLLM и SGLang; для vLLM/SGLang нужны main-ветки.
• 🌐 Заявленные языки — английский и китайский.
• 😼 Abliterated-вариант с суффиксом fix3: методика abliteration в карточке не описана.

💡 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
mid = "jsantillana/glm-4.7-flash-abliterated-fix3"
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid, device_map="auto")
inp = tok.apply_chat_template([{"role":"user","content":"hello"}], tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt")
out = model.generate(**inp.to(model.device), max_new_tokens=128)
print(tok.decode(out[0][inp.input_ids.shape[1]:]))

Подробнее

30B-A3B MoE, ~31,22 млрд параметров.
Бенчмарки: AIME 25 — 91.6, GPQA — 75.2, SWE-bench Verified — 59.2.
Локальный запуск: transformers, vLLM, SGLang.
Данных об abliteration и отдельных ограничениях в карточке нет.