ma-moe-tiers

Экспериментальная MoE-модель от WPLab на Qwen3-бэкбоне со словарём 12K. В релизе три обученных тира — два по 292M и один на 547M не-словарных параметров — плюс конфигурация тира 1e19 на 984M без весов. Архитектура: 60 экспертов, выбираются 5, ширина эксперта H/2, без shared experts.

📝 Ключевые особенности

• 🤓 Каждый FFN заменён на 60 экспертов с выбором 5; expert width H/2, shared experts нет.
• 📝 Engram в трёх слоях, 3 value embeddings, x0-смешивание и U-net skip-соединения.
• 😎 GQA 4:1; каждые 6 слоёв — 1 full attention, остальные — 512 sliding window; logit softcap 15.
• 🤔 Обучение с нуля на официальном тренировочном наборе на H200; BPB на A-наборе (16K): 1.007574 / 0.943671 / 0.905723.
• 🫠 Тир c1e19-shape — только конфиг, код и токенизатор, весов нет, обучение ещё идёт.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "WPLab/ma-moe-tiers"
model = AutoModelForCausalLM.from_pretrained(
    repo, subfolder="c3e18-M28",
    trust_remote_code=True, dtype="bfloat16"
)
tok = AutoTokenizer.from_pretrained(repo, subfolder="c3e18-M28")

Подробнее

Для загрузки нужен transformers 5.8.1; веса лежат в FP32 и занимают ~14–15 ГБ, большая часть — три Engram-хеш-таблицы.
EvalTime считают по формуле T_eval / ((Na/1e9) × (D_eval/1e6)); для 3e18-M28 на одной H200 с FP8 Linear и BF16 экспертами — 7.0–7.5 (Sonic 7.51, SGL64 7.03).
Для 1e19 оценка 6.5–7, но она не измерена.