Meditor 2.2B A500M MoE

Meditor — кастомная extreme-sparse MoE-модель для генерации текста от Yo-Purple, поднятая (upcycled) из Qwen2.5-0.5B-Instruct, обученной на 18 трлн токенов. В ней 2,22 млрд хранимых параметров, но на каждый токен считается лишь ~572,95 млн активных (25,8%). Контекст — 524 288 токенов, веса в bfloat16 занимают 4,39 GB.

✨ Ключевые особенности

• 🔮 1 выделенный shared expert (MLP размерности 4864) полностью сохраняет знания базовой Qwen 2.5 0.5B
• ✅ 22 fine-grained routed эксперта на слой (по 1216 промежуточных измерений) в 24 слоях — всего 528 routed экспертов
• ❗ На токен выбираются Top-1 routed + 1 shared expert: широкая ёмкость знаний при лёгком вычислении
• 📖 Гибридное внимание: sliding window на 2048 токенов в 20 слоях + 4 global proportional-RoPE слоя (base theta 1 000 000.0)
• 💻 4,39 GB safetensors — комфортно помещается в 8 GB VRAM с запасом под KV-cache

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo_id = "Yo-Purple/Meditor-1-2.2B-A500M-MoE"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(
    repo_id, torch_dtype=torch.bfloat16,
    device_map="cuda", trust_remote_code=True
)

Подробнее

Замеры автора на RTX 4060 8GB, PyTorch 2.6: PPL 8.35 (cross-entropy loss 2.1227), ARC-style science 50.0%, арифметика 60.0% напрямую и 100.0% с AST-инструментом.
Активное потребление VRAM — 4,16 GB, остаётся ~3,8 GB под KV-cache.
Архитектура кастомная, поэтому нужен trust_remote_code=True; язык карточки — английский, лицензия Apache 2.0.