Qwen3.5-0.8B

Это Qwen3.5-0.8B (0,87 млрд параметров) от RikiyaT, отредактированная без градиентного спуска: продвинутая LLM Astra напрямую изменила веса базовой Qwen/Qwen3.5-0.8B, чтобы та лучше решала математику. Эксперимент 8 из проекта «Sparks of Weight-Space Programming»; чекпойнт — полная мультимодальная версия, но языковые тензоры совпадают с текстовым экспортом.

🔥 Ключевые особенности

• 🔥 Astra нашла «петли размышлений» и вычла одно направление из 64 выходных столбцов down_proj в слоях 15 и 19.
• 💻 Изменено 131 072 веса — 0,016% модели; от базы отличаются только два тензора.
• 📚 MATH-500: 7,9% → 48,1%; GSM8K: 13,8% → 67,1%; IFEval: 21,0% → 62,3%.
• ⏰ Доля ответов, упирающихся в лимит токенов, снизилась с 93,0% до 33,1%.
• ✅ Правка опубликована как bit-exact diff, а чекпойнт собран с sha256-проверкой тензоров.

💻 Пример

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
ckpt = "RikiyaT/Qwen3.5-0.8B-weight-space-programming"
tok = AutoTokenizer.from_pretrained(ckpt)
llm = LLM(model=ckpt, dtype="bfloat16", max_model_len=34816)
prompt = tok.apply_chat_template([{"role":"user","content":"What is $2^{10} + 24$?"}], tokenize=False, add_generation_prompt=True, enable_thinking=True)
sp = SamplingParams(temperature=0.6, top_p=0.95, top_k=20, max_tokens=32768, seed=0)
print(llm.generate([prompt], sp)[0].outputs[0].text)

Подробнее

Бенчмарки: MATH-500 — 48,1% (независимый ре-ран — 51,0%), GSM8K — 67,1%, IFEval — 62,3%.
Лимит токенов: 33,1% против 93,0% у базы; в ре-ране — 31,6%.
Правка: 50 forward passes по задачам GSM8K/MATH, 131 072 веса (0,016%), без обучения.
Ре-ран: 500 задач × 4 сэмпла на H200, vLLM 0.33.0, около 51 минуты.