ZAQION 1.0

ZAQION 1.0 — LLM под Apache 2.0 от ZAQERIS AI Independent Research Group (Каир). В карточке заявлена 150B MoE-архитектура: 64 слоя, 48 физических SwiGLU-экспертов и адаптивный роутинг с 12.5–50B активных параметров на токен. Метаданные HF показывают 21.27B элементов — авторы объясняют это квантованным хранением при заявленной 150B MoE-ёмкости.

🤓 Ключевые особенности

• 🤔 48 экспертов разделены на 4 когнитивные группы ERA 4: пространство/зрение, код и AST, мультиязычный RAG, адверсариальная логика.
• 🫡 Активные параметры меняются от 12.5B (k=2) до 50B (k=8) через ZaqerisAdaptiveMOERouter.
• 📝 Квантизация ZAQERIS-M4 Gold: Barnes-Wall lattice Λ16, 2.03 bpp; footprint 42.5 GB (~38.07 GiB, 10 Safetensors-шардов).
• ⌨ Поддержка Transformers и vLLM, запуск через trust_remote_code; контекст 128K нативно и до 1M через YaRN.
• 🗣 Мультиязычная модель с английским, арабским и multilingual; в карточке отдельно выделен арабо-английский semantic reasoning.

⌨ Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "ZAQERIS/ZAQION"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
prompt = "من أنت وما هي معماريتك التقنية؟"
inputs = tok(prompt, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(**inputs, max_new_tokens=256, do_sample=False)[0], skip_special_tokens=True))

Подробнее

Бенчмарки в карточке (greedy Pass@1): GSM8K 95.07%, HumanEval 92.70%, MMLU-Pro 86.40%, MATH-500 84.80%, ARC-Challenge 89.25%.
Квантованный footprint — 42.5 GB (~38.07 GiB, 10 шардов); заявлены 128K нативного контекста и до 1M через YaRN.
Лицензия Apache 2.0; для запуска нужен trust_remote_code.
В карточке также указаны 16.5 трлн токенов предобучения и 344 064 GPU-часов на кластере H100.