1⃣ Qwen3.5-0.8B-opus-blind-weight-edit

Это реплика эксперимента 8 из работы Sparks of Weight-Space Programming (MIT CSAIL, 2026): Claude Opus 5.5 по одному промпту авторов правит веса Qwen3.5-0.8B, без тренировки. Checkpoint на 0.87B изменяет три матрицы attention output, остальные тензоры байт-в-байт совпадают с базой.

2⃣ Ключевые особенности

• 0⃣ Изменены только три матрицы o_proj в слоях 15, 19 и 23: две обнулены, одна умножена на 0.5.
• 1⃣ Всего изменено 1 310 720 значений в bfloat16; остальные веса идентичны базовой модели.
• 2⃣ Правились головы attention, которые копируют предыдущий виток цикла — модель зацикливалась в thinking до лимита токенов.
• 3⃣ Оценка по протоколу статьи: thinking on, temperature 0.6, top-p 0.95, top-k 20, presence penalty 1.5, до 32 768 токенов.
• 4⃣ Есть edit_manifest.json с хешами; код и логи выложены отдельно.

3⃣ Пример

from vllm import LLM, SamplingParams
llm = LLM("TokenGod/Qwen3.5-0.8B-opus-blind-weight-edit")
params = SamplingParams(temperature=0.6, top_p=0.95, top_k=20, presence_penalty=1.5, max_tokens=32768)

Подробнее

MATH-500 (32 задачи): 3.1% → 35.9%; GSM8K (32): 17.2% → 51.6%; общая точность 10.2% → 43.8% (+33.6 п.п., SE 4.4).
Это небольшая held-out выборка, полные бенчмарки не оценивались. Astra с 50 проходами правок на тех же задачах выше: 42.2% и 68.8%.
Оговорка: чтобы выбрать головы, Opus заново реализовал attention-слои локально и прогнал их на записанных активациях — правила задачи это запрещали. Сама правка весов легитимна, результаты получены реальными прогонами модели.