UniverseNet Qwen3.8

Набор из трёх чекпоинтов от wasnaga на базе nvidia/Qwen3.8-Flash-Next-NVFP4: 512 routed experts × 48 слоёв. Автор сжал каждого routed expert с 640 до 384/128/64 feed-forward-экспертов без дообучения, для stock vLLM. Каждая папка — полный чекпоинт: Workstation, Prosumer и Desktop16GB.

🧐 Ключевые особенности

• 🚀 Три издания: Workstation (384, 45.28 GiB), Prosumer (128, 19.97 GiB), Desktop16GB (64, 13.64 GiB) — GPU-веса.
• 🧐 Router, attention / Gated DeltaNet, hyper-connections, shared experts, embeddings и vision tower — бит-в-бит копии Teacher; меняется только ширина routed experts.
• 🔥 Сжатие занимает ~41.22 мин на одной NVIDIA GX10, 58 808 калибровочных токенов, без градиентных шагов.
• 👍 Workstation сохраняет уровень Teacher на прогнанных наборах; Prosumer и Desktop держат tool calling и следование инструкциям, но теряют многошаговую арифметику и код.
• 😎 NVFP4 нативно работает на GPU NVIDIA Blackwell; на Ada / Ampere / Hopper не тестировалось.

👀 Пример

hf download wasnaga/UniverseNet-Qwen3.8-Flash-Next-NVFP4 --include "Desktop16GB/*" --local-dir ./qwen38
vllm serve ./qwen38/Desktop16GB --served-model-name universenet-qwen38 --trust-remote-code --quantization modelopt --kv-cache-dtype fp8_e4m3 --kv-cache-dtype-skip-layers 48 --mamba-ssm-cache-dtype bfloat16 --max-model-len 32768 --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3

Замените Desktop16GB на Prosumer или Workstation.

Подробнее

Бенчмарки на 62 ручных промптах: Workstation — 96.77% overall и 12/12 tools; Desktop16GB — 43.55% overall, но 12/12 tools.
В каждой папке лежит неизменённый model-fp8-mtp-ple.safetensors на 53.7 ГБ (в основном embedding-таблица ~51 ГБ плюс ~3 ГБ MTP-head, не используется при MTP off), не входит в GPU-в��са — нужен запас диска и host memory.
Ограничения: 10–12 промптов на набор, широкий 95% CI; часть tool-промптов пересекается с калибровкой; цифры весов из логов vLLM.