Qwen 3.8 Flash-Next

TinoBruno выложил оптимизированные бинарные веса, манифест, мультимодальный vision-проектор (mmproj) и таблицу Per-Layer Embedding N-gram для Qwen 3.8 Flash-Next (GSQ-RCO-IQ1_M). Всё это отформатировано под MinnieTheMoEcher — bare-metal рантайм для агентных задач. Архитектура qwen4exp: гибрид SSM и attention со разреженным MoE.

💪 Ключевые особенности

• 💪 48 слоёв: 36 слоёв Hybrid Gated DeltaNet SSM + 12 слоёв Grouped-Query Attention, Hyper-Connections (hc_mult = 4, D = 10 240) и PLE-таблица на 320M n-gram.
• 👀 MoE: 256 routed экспертов на слой, top_k = 10 плюс 1 gated shared expert — всего 12 288 экспертов.
• ✊ resident.bin (~4.15 ГБ) с dense-частью, shared-экспертами и output head целиком живёт в VRAM.
• 😐 experts.bin (~23.42 ГБ) стримится из pinned host DRAM через асинхронный double-buffered DMA; PLE-таблица (~26.82 ГБ) подключается zero-copy из памяти хоста.
• 👅 mmproj на BF16 (~865.5 МБ) добавляет нативное мультимодальное зрение.
• 🔥 Заявлено ~113 tok/s prefill и ~20.5 tok/s decode на 16 ГБ VRAM без нагрузки на CPU.

👉 Пример

# Скачать модель через загрузчик MinnieTheMoEcher
python scripts/download_model.py --model qwen_flash_next

# Запустить рантайм
./moecher -m models/qwen3.8_flash_next/moecher_manifest.json --port 8001

Подробнее

Смешанная RCO-квантовка: от IQ1_M до Q6_K и BF16 по разным тензорам.
Железо из карточки: GeForce RTX 5060 Ti 16 ГБ + 32/64 ГБ DDR5.
Токенизатор BPE на 248 320 токенов, языки — английский и китайский.
Важно: веса рассчитаны на рантайм MinnieTheMoEcher, а не на transformers или vLLM.