Qwen3.5-0.8B-WSPForge-Math-v1

Экспериментальная математическая специализация Qwen3.5-0.8B от end000: около 0,87 млрд параметров, задачи text-generation, языки en и ru. Вместо градиентного спуска, backpropagation или fine-tuning изменены веса только двух MLP-слоёв; это полный standalone checkpoint под Apache 2.0.

🍒 Ключевые особенности

• 🍒 Изменены только layers.15.mlp.down_proj.weight и layers.19.mlp.down_proj.weight: 130 317 значений, или 0,01491999% от 873 438 784 сохранённых параметров.
• 👀 На held-out practice cohort из 64 GSM8K и 64 MATH: 50/128 верных против 13/128 у базы; парный прирост 28,91 п.п., 95% интервал [20,31; 37,50].
• 💪 Код не улучшился: на 48 задачах HumanEval/MBPP 48/144 против 55/144; подтверждения coding-улучшения нет.
• 😐 Меньше зацикливаний: 71/128 ответов упёрлись в token cap против 116/128; средняя длина 24 922 против 30 164 токенов.
• 🐾 Полный checkpoint без патча, сохранены архитектура, tokenizer и chat template; запуск через vLLM.

👀 Пример

vllm serve end000/Qwen3.5-0.8B-WSPForge-Math-v1 --dtype bfloat16 --max-model-len 36864 --gpu-memory-utilization 0.65

Подробнее

Бенчмарки: 50/128 на practice GSM8K+MATH, 48/144 на HumanEval/MBPP — это не MATH-500 и не официальный GSM8K test.
Железо: эксперименты на RTX 4070 12 GB VRAM, Ryzen 9 5950X, 64 GB RAM; vLLM 0.33.0, BF16, KV cache 4 GiB.
Ограничения: не проводились полные MATH-500, IFEval, vision и agent-бенчмарки; возможны неверные ответы и правдоподобные, но невалидные рассуждения.