Qwen3.8-27B Sparse F2

Это per-token sparse student модели Qwen3.8-27B (HauhauCS Uncensored-Aggressive, Q6_K_P GGUF) от автора verysweatydog. Студент сохраняет все 64 слоя, но каждый токен читает только часть весов: низкоранговые проекции attention/GDN, 1-битный sketch-генератор кандидатов для FFN и shortlist в LM head. Есть готовый GGUF Q4_K_M на 20,9 ГБ (3,82 BPW) и патч llama.cpp.

🔥 Ключевые особенности

• ✅ Готовый к запуску qwen3.8-27b-sparse-F2-Q4_K_M.gguf на 20,9 ГБ; нужен патченный llama.cpp.
• 📌 Разреженность настраивается GGUF-ключами без переэкспорта: ffn_candidates, gdn_gate_k, ffn_active, head_shortlist.
• 💻 Декод батчами до 8 токенов идёт по sparse-путям; prefill — по dense-путям с теми же весами.
• 📚 Обучение — дистилляция по логитам учителя на ~12M токенов, 1500 шагов; данные очищены от GSM8K test.
• ❗ Модель uncensored, без дополнительного safety tuning; автор ещё не запускал её на реальном iGPU.

📌 Пример

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git checkout f477f79
git apply /path/to/llama.cpp-sparse-qwen35.patch
cmake -B build -DGGML_VULKAN=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j --target llama-cli
./build/bin/llama-cli -m qwen3.8-27b-sparse-F2-Q4_K_M.gguf -ngl 99 -cnv

Подробнее

Dev KL 0.2268 и dev top-1 85.6%; math KL 0.1648 и top-1 88.4% против учителя.
С ffn_candidates=8192 и gdn_gate_k=2048: dev KL 0.1974, math KL 0.1461, но +16% байт на токен.
GSM8K: 115/128 (89.8%) — столько же, сколько у учителя.
20,9 ГБ GGUF + KV-кэш помещается в 32 ГБ; 16 слоёв full attention, 48 DeltaNet с фиксированным state.
Prefill стоит примерно как у dense-модели; экономия — на генерации.