Qwen3.5-0.8B-vibe-surgery

Это экспериментальная версия Qwen3.5-0.8B (0,87 млрд параметров) от theyashhambarde: 130 384 веса изменены вручную, без тренировки и файнтюна. Автор нашёл направление, которое слои 15 и 19 записывают при зацикливании модели, и сдвинул по 64 нейрона в каждом слое против него. Остальные веса — из оригинального релиза.

🔥 Ключевые особенности

• 🔥 Без обучения: изменён только model.language_model.layers.{15,19}.mlp.down_proj.weight, по 64 колонки в каждом слое.
• 🧐 Правка задаётся формулой W[:, cols] -= 4 * outer(u, u @ W[:, cols]).
• 💯 На 30 задачах MATH-500 с ответами до 32 768 токенов: 13/30 (43%) против 6/30 (20%) у оригинала.
• 🚀 Прирост появляется при thinking on и длинных ответах; на коротком лимите токенов модель ведёт себя как оригинал.
• 👀 В GitHub лежит 64 КБ файл правки, который побайтово восстанавливает модель, скрипт оценки и все ответы.
• ⛔ Выборка всего 30 задач — автор сам предупреждает, что это мало.

💯 Пример

Сценарий из карточки: 30 задач MATH-500, ответы до 32 768 токенов, thinking on, temperature 0.6, top-p 0.95, top-k 20, presence penalty 1.5; последний \boxed{} проверяется через math-verify. На коротких ответах прирост не проявляется — нужен длинный reasoning.

Подробнее

Бенчмарк: 13/30 (43%) против 6/30 (20%) у Qwen3.5-0.8B на 30 задачах MATH-500.
На том же тесте опубликованная правка MIT CSAIL для этой же модели даёт 16/30.
Ограничения: маленькая выборка в 30 задач; при коротком лимите токенов результат как у оригинала.
Идея — из MIT CSAIL «Sparks of Weight-Space Programming»; модель сделана с Nexus.