Meditor-3-4B-MoE
компактная MoE-модель с 8 экспертами на базе Qwen3-4B
3 мин чтенияобновлено
Meditor-3-4B-MoE от автора Yo-Purple — языковая модель (LLM) с нестандартной архитектурой MoE (Mixture-of-Experts — смесь экспертов, где под запрос подключаются нужные модули). В основе лежит целая модель Qwen3-4B (4,02 млрд параметров), дополненная 8 специализированными LoRA-адаптерами (небольшими надстройками над базовой моделью) и компактным роутером PromptRouter на 2,90 млн параметров. Главная особенность в том, что роутер анализирует промпт ещё до генерации первого токена, выбирает от 1 до 3 профильных экспертов и динамически подмешивает их веса во все 36 слоёв сети. Подойдёт разработчикам и энтузиастам, которым нужна универсальная локальная модель для математики, кода, логики и строгого следования инструкциям на видеокартах с 8 ГБ видеопамяти.
Ключевые особенности
- Динамическая маршрутизация до декодирования:
PromptRouterоценивает скрытые состояния запроса и активирует 1–3 эксперта из 8 доступных, задействуя от 4,04B до 4,07B параметров из общих 4,16B. - 8 узкопрофильных экспертов (rank-8 LoRA): отдельные модули отвечают за математику (
math), дедуктивную логику (logic), код (code), естественные науки и фактчек (science), жёсткие ограничения формата (constraints), стратегию (strategy), креатив (creative) и краткие ответы без лишних рассуждений (crisp). - Длинный контекст и низкий расход памяти: поддерживается окно контекста до 40 960 токенов, а пиковое потребление VRAM при генерации в режиме
bf16_low_vramсоставляет 5,43 GiB (менее 3,5 ГБ при запуске в 4-битном режиме). - Заметный прирост над базой: в тесте Probe10 модель набирает 7,02 балла из 10 против 4,28 у исходной Qwen3-4B (+2,74 балла).
Что можно сделать
- Поднять локальный чат-сервер с API: в репозиторий включены скрипты
server.py, веб-интерфейс и терминальный чатchat.pyс OpenAI-совместимым эндпоинтом/v1/chat/completionsдля подключения к своим пет-проектам и IDE. - Решать задачи на логику, код и строгий формат вывода: использовать модель для генерации JSON по схеме, пошаговых вычислений и алгоритмических задач благодаря профильным LoRA-экспертам.
- Запускать на бюджетных GPU или в llama.cpp: запустить PyTorch-версию на карте уровня RTX 4060 8 ГБ (в том числе через
--backend pytorch_4bit) либо взять совместимую GGUF-сборкуMeditor-3-4B-Universalдля LM Studio.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "Yo-Purple/Meditor-3-4B-MoE"
tok = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True)
messages = [{"role": "user", "content": "Solve x^2 - 7x + 12 = 0 briefly."}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(prompt, return_tensors="pt")
with torch.no_grad():
out = model.generate(**inputs, max_new_tokens=128, do_sample=False, pad_token_id=tok.eos_token_id)
print(tok.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
Подробнее
Бенчмарк UniBench-100: средний балл 7,31/10 (1-е место из 36 прогонов серии), Pass Rate 69,0%, лучший результат в критическом мышлении (9,09/10) и креативе (8,38/10).Тесты на RTX 4060 8 GB: загрузка за 5,26 с, пик 5,432 GiB зарезервированной VRAM в
bf16_low_vram, скорость 35,7 tok/s (для Q8_0 базы с динамическими LoRA).Требования и ограничения: для загрузки через
transformers требуется флаг trust_remote_code=True; вес файлов в BF16 на диске — 7,75 GiB; лицензия Apache 2.0.









Комментарии