Meditor 2.2B A500M MoE
2,2 млрд параметров при 25,8% активных
2 min readupdated
Meditor — кастомная extreme-sparse MoE-модель для генерации текста от Yo-Purple, поднятая (upcycled) из Qwen2.5-0.5B-Instruct, обученной на 18 трлн токенов. В ней 2,22 млрд хранимых параметров, но на каждый токен считается лишь ~572,95 млн активных (25,8%). Контекст — 524 288 токенов, веса в bfloat16 занимают 4,39 GB.
Ключевые особенности
- 1 выделенный shared expert (MLP размерности 4864) полностью сохраняет знания базовой Qwen 2.5 0.5B
- 22 fine-grained routed эксперта на слой (по 1216 промежуточных измерений) в 24 слоях — всего 528 routed экспертов
- На токен выбираются Top-1 routed + 1 shared expert: широкая ёмкость знаний при лёгком вычислении
- Гибридное внимание: sliding window на 2048 токенов в 20 слоях + 4 global proportional-RoPE слоя (base theta 1 000 000.0)
- 4,39 GB safetensors — комфортно помещается в 8 GB VRAM с запасом под KV-cache
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
repo_id = "Yo-Purple/Meditor-1-2.2B-A500M-MoE"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(
repo_id, torch_dtype=torch.bfloat16,
device_map="cuda", trust_remote_code=True
)
Подробнее
Замеры автора на RTX 4060 8GB, PyTorch 2.6: PPL 8.35 (cross-entropy loss 2.1227), ARC-style science 50.0%, арифметика 60.0% напрямую и 100.0% с AST-инструментом.Активное потребление VRAM — 4,16 GB, остаётся ~3,8 GB под KV-cache.
Архитектура кастомная, поэтому нужен
trust_remote_code=True; язык карточки — английский, лицензия Apache 2.0.









Comments