Meditor-2

Meditor-2 от Yo-Purple — текстовая LLM с двухуровневой иерархической Mixture-of-Experts: 3.41B хранимых параметров и около 1.82B активных на токен. Модель сделана на базе SmolLM2-1.7B-Instruct, обученного на 11 трлн токенов, и заявляет контекстное окно до 524 288 токенов.

⚙ Ключевые особенности

• 🧭 Tier 1 — макро-роутер выбирает один из 3 доменов: Logic/Math, Language/Dialogue, Code/Systems.
• ⚙ Tier 2 — внутри домена micro-router выбирает 1 из 5 суб-экспертов (~113M параметров каждый).
• 📌 Shared Expert сохраняет все 8 192 intermediate-нейрона базовой SmolLM2-1.7B.
• 📡 Гибридный контекст: sliding window 2 048 токенов + global-слои до 500K с Proportional-RoPE.
• 💻 BF16-вес 6.35 GB помещается в 8GB GPU; INT4 — около 1.59 GB.
• ✅ В карточке есть замеры на RTX 4060 8GB и код запуска через transformers.

💻 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = 'Yo-Purple/Meditor-2-3.4B-A1.8B-HMoE'
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True)
prompt = tok.apply_chat_template([{'role':'user','content':'Hello'}], tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors='pt').to('cuda')

Подробнее

Бенчмарки на RTX 4060 8GB: reasoning PPL 7.42, ARC-стиль 100% (12/12), прямая арифметика 40%, с AST-копроцессором — 100%.
Скорость: ~11.18 ток/с, prefill 256 токенов — 306.58 мс, VRAM в BF16 — 6.42 GB.
KV-cache: 20 локальных слоёв ограничены 2 048 токенами, 4 глобальных держат до 524 288.
Лицензия Apache 2.0; оценка ARC основана на 12 вопросах.