Neuvy-TriUnified-MoE-v1
компактная MoE-модель на базе архитектур Llama, Qwen и Mixtral
2 min readupdated
Neuvy-TriUnified-MoE-v1 — компактная языковая модель с архитектурой MoE (Mixture-of-Experts — смесь экспертов, где для каждого токена активируется только часть нейросети), созданная командой neurarank с помощью движка Neuvy Model Evolution Engine. При общем объёме около 401.5M параметров на один токен задействуется всего ~175M активных параметров, что делает генерацию текста быстрой и лёгкой для железа. Модель объединяет элементы сразу трёх семейств: механизм внимания GQA (Grouped-Query Attention) от Meta Llama 3.1 8B, функцию активации SwiGLU от Qwen 2.5 7B и разреженную маршрутизацию экспертов с общим экспертом в духе Mixtral 8x7B и DeepSeek-V3. Подходит разработчикам и исследователям, которым нужна сверхлёгкая локальная LLM с поддержкой английского, китайского и вьетнамского языков или база для дальнейшего дообучения.
Ключевые особенности
- Гибридная архитектура: 8 маршрутизируемых экспертов (выбираются Top-2 на токен) плюс 1 изолированный общий эксперт в стиле DeepSeek, работающий на каждом проходе.
- Низкие вычислительные затраты: из 401,535,744 параметров при инференсе активно лишь ~175M.
- Мультиязычность: заявлена поддержка английского, китайского и вьетнамского языков, словарь рассчитан на 32 000 токенов.
- Открытая лицензия: распространяется под Apache 2.0 и поддерживает загрузку в форматах Float16 и BFloat16 через библиотеку
transformers.
Что можно сделать
- Запустить локальный прототип: использовать модель на слабых GPU или в средах с ограниченной памятью для быстрой генерации текста и проверки инференса.
- Взять за основу для экспериментов: дообучить (fine-tuning) под узкие задачи, где важна высокая скорость отклика и архитектура Mixture-of-Experts.
- Изучить слияние моделей: протестировать поведение гибридного пула экспертов (4 из Mixtral, 2 из Llama, 2 из Qwen) и SLERP-смешивания слоёв внимания на практике.
Пример
import torch
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"neurarank/Neuvy-TriUnified-MoE-v1", torch_dtype=torch.float16, trust_remote_code=True, device_map="auto"
)
input_ids = torch.tensor([[1, 15043, 29892, 1128, 505, 338, 263, 1781, 29973]])
outputs = model(input_ids)
Подробнее
Параметры: ~401.5M всего (~175M активных на токен), 8 слоёв, hidden dimension 768, intermediate dimension 2048.Внимание: GQA 3:1 (12 Query-голов и 4 Key-Value головы), длина контекста — 4 096 токенов (RoPE theta 10000.0).
Требования: при загрузке требуется флаг
trust_remote_code=True из-за кастомной архитектуры; бенчмарки и требования к VRAM в карточке не приведены.









Comments