EchoMoE-Qwen3-30B-A3B
оптимизированная языковая модель для быстрого распределенного инференса
2 мин чтенияобновлено
Эта модель представляет собой вариант архитектуры MoE (Mixture of Experts, смесь экспертов — подход, при котором для каждого токена задействуется лишь часть параметров), адаптированный с помощью технологии EchoMoE для снижения объема передаваемых данных между узлами. Вместо передачи полных скрытых состояний модель отправляет сжатую разницу от эталонного состояния, которое обновляется каждые несколько слоев. Модель создана на базе Qwen3-30B-A3B и обучена методом дистилляции (переноса знаний от более крупной или точной модели). Разработка ориентирована на инженеров и исследователей, занимающихся масштабированием и ускорением работы больших языковых моделей на кластерах из нескольких GPU.
Ключевые особенности
- Снижение объема сетевого трафика между узлами на 58% в режиме экспертного параллелизма (expert parallelism)
- Прирост пропускной способности (throughput) до 22.6% по сравнению с немодифицированной базовой моделью на 4 узлах
- Архитектура с конфигурацией EchoMoE: опорные точки каждые 4 слоя, диспетчерский код размерностью 512 и комбинированный код на 768
- Контекст длиной 32,768 токенов и поддержка работы в формате bf16
Что можно сделать
- Развернуть модель в сервисе vLLM с плагином EchoMoE на кластере из нескольких графических процессоров (GPU) для высокопроизводительного обслуживания пользователей
- Запустить инференс локально на одной видеокарте с объемом памяти от 80 GB с помощью библиотеки transformers через удаленный код
- Провести тестирование производительности и сетевой нагрузки в различных конфигурациях экспертного параллелизма
Пример
Пример запуска модели через Python с использованием библиотеки transformers и одной видеокарты с поддержкой bf16:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "McGill-NLP/EchoMoE-Qwen3-30B-A3B-s4-r512-c768"
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True, dtype=torch.bfloat16, device_map="cuda")
tokenizer = AutoTokenizer.from_pretrained(repo)
messages = [{"role": "user", "content": "Give me a short introduction to large language models."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
Подробнее
Бенчмарки (среднее по 18 тестам): 63.1% (на 3.8 пункта ниже базовой модели-учителя).Требования к железу: веса в bf16 помещаются на одну GPU с 80 GB VRAM для одиночного запуска; для распределенного режима требуется кластер из нескольких H100.
Лицензия: Apache 2.0.










Комментарии