Другоеjanghaneul
Qwen3.8-Flash-Next
два GGUF-кванта для локального MoE
1 мин чтения
Два вручную собранных GGUF-кванта Qwen3.8-Flash-Next от janghaneul для локального инференса MoE через Strata / llama.cpp. Оба построены из рецепта AD-5.00bpw-Q5_K_M: изменены только routed-эксперты gate/up, остальные тензоры остаются Q8_0, down-эксперты — IQ4_NL.
🧭 Ключевые особенности
- 💼 Q4_K-Q4_K — quality-сборка: все gate/up в Q4_K, 119.05 GiB, около 68.37 GiB RAM при стриминге PLE.
- ⚡ IQ3_S-Q4_K — экономная: Q4_K только на слоях 0–3 и 40–47, IQ3_S в середине; 111.58 GiB и около 60.90 GiB RAM.
- 🔒 PLE/n-gram таблица остаётся Q8_0: 50.66 GiB на диске, при стриминге не занимает RAM.
- 🧩 Третий шард у обоих билдов одинаковый и заменяемый — можно взять n-gram шард из M64-сборок AtomicChat.
- 👁 В комплекте vision-адаптер
mmproj-Qwen3.8-Flash-Next-F16.gguf.
💻 Пример
strata --serve \
--native Qwen3.8-Flash-Next-AD-gateup-Q4_K-Q4_K-00001-of-00003.gguf \
--ple-gguf Qwen3.8-Flash-Next-AD-gateup-Q4_K-Q4_K-00003-of-00003.gguf \
--ple-io direct --resident-experts \
--max-context 262144 --kv int8Подробнее
Качество на этих сборках не измерялось: проверены состав тензоров и байтовое соответствие, бенчмарков нет.Для IQ3_S-Q4_K рекомендуется около 94 GiB системной RAM, PLE-таблица с SSD и контекст до 262K с int8 KV.
Лицензия — Qwen Community License 1.0; imatrix и базовый рецепт — AtomicChat, BF16 — Unsloth.
Комментарии