Huihui-Qwen3.8-Flash-Next-ThinkingCap

Это смешанный по точности MLX-билд ThinkingCap-Qwen3.8-Flash-Next от umixer: MoE-архитектура qwen4_exp, 48 слоёв, 512 экспертов, 156B total / 6B active. Поверх модели хирургически применена abliteration — направление отказа удалено в 96 выходных матрицах, остальные тензоры оставлены бит-в-бит.

🔥 Ключевые особенности

• ⚡ Смешанная точность: 993 per-tensor override и U-образная чувствительность слоёв; 8-bit ×745, 6-bit ×128, 4-bit ×120.
• 🖥 Заточен под Apple Silicon: ~75–76 GB resident и ~75–84 tok/s decode на 128 GB M5 Max; пакет 117.5 GiB, 131 шард.
• 🔥 Abliteration: удалено refusal-направление 2560-dim в 96 матрицах o_proj/out_proj/shared_expert.down_proj; routed experts, PLE, MTP и bf16 не тронуты.
• 📉 Примерно на 28% меньше thinking-токенов, чем у base Flash-Next: медиана MBPP 219 против ~280.
• 🌐 Контекст протестирован до 131k; MTP depth 3 можно включить для speculative decoding.
• 💎 По описанию автора, качество на уровне oQ5 или выше при экономике 4-битного билда.

💻 Пример

Нужен oMLX 0.7.2+ или mlx_vlm с поддержкой qwen4_exp и per-tensor mixed precision.

from mlx_vlm import load, generate
model, processor = load('umixer/Huihui-Qwen3.8-Flash-Next-ThinkingCap-oq4-mix6-mtp')

Подробнее

Архитектура: qwen4_exp, MoE + n-gram PLE + MTP; 156B total / 6B active.
Резидент: ~75–76 GB; пакет 117.5 GiB (131 шард); контекст проверен до 131k.
MBPP: 89/89 валидных ответов (100% на валидных), медиана 219 токенов против ~280 у v3 baseline (−28%).
В generation_config — 27 640 suppress_tokens для упрощённого китайского; лицензия Qwen community license.