Qwen 3.8 Flash-Next
MoE-пакет, который влезает в 16 ГБ VRAM
2 min readupdated
TinoBruno выложил оптимизированные бинарные веса, манифест, мультимодальный vision-проектор (mmproj) и таблицу Per-Layer Embedding N-gram для Qwen 3.8 Flash-Next (GSQ-RCO-IQ1_M). Всё это отформатировано под MinnieTheMoEcher — bare-metal рантайм для агентных задач. Архитектура qwen4exp: гибрид SSM и attention со разреженным MoE.
Ключевые особенности
- 48 слоёв: 36 слоёв Hybrid Gated DeltaNet SSM + 12 слоёв Grouped-Query Attention, Hyper-Connections (
hc_mult = 4, D = 10 240) и PLE-таблица на 320M n-gram. - MoE: 256 routed экспертов на слой,
top_k = 10плюс 1 gated shared expert — всего 12 288 экспертов. resident.bin(~4.15 ГБ) с dense-частью, shared-экспертами и output head целиком живёт в VRAM.experts.bin(~23.42 ГБ) стримится из pinned host DRAM через асинхронный double-buffered DMA; PLE-таблица (~26.82 ГБ) подключается zero-copy из памяти хоста.mmprojна BF16 (~865.5 МБ) добавляет нативное мультимодальное зрение.- Заявлено ~113 tok/s prefill и ~20.5 tok/s decode на 16 ГБ VRAM без нагрузки на CPU.
Пример
# Скачать модель через загрузчик MinnieTheMoEcher
python scripts/download_model.py --model qwen_flash_next
# Запустить рантайм
./moecher -m models/qwen3.8_flash_next/moecher_manifest.json --port 8001
Подробнее
Смешанная RCO-квантовка: отIQ1_M до Q6_K и BF16 по разным тензорам.Железо из карточки: GeForce RTX 5060 Ti 16 ГБ + 32/64 ГБ DDR5.
Токенизатор BPE на 248 320 токенов, языки — английский и китайский.
Важно: веса рассчитаны на рантайм MinnieTheMoEcher, а не на transformers или vLLM.










Comments