Qwen3.5-0.8B Astra Weight Edit

Qwen3.5-0.8B Astra Weight Edit — версия Qwen3.5-0.8B на 0,87 млрд параметров, в которой без обучения отредактированы два тензора. Публикация JonathanColetti; метод и диф — от Rikiya Takehi, Jayden Teoh, Alex Zhang и Omar Khattab (MIT CSAIL). Цель — убрать зацикливание в thinking-режиме, а не добавить модели новых возможностей.

✨ Ключевые особенности

• 🕷 Изменены 64 выходных столбца mlp.down_proj в слоях 15 и 19 — около 130k весов, 0,016% модели.
• 🧸 Остальные веса байт-в-байт совпадают с базовой моделью.
• 📌 Убирает зацикливание в thinking-режиме; почти весь прирост дают ответы, которые больше не упираются в лимит токенов.
• 💻 Есть скрипт apply_edit.py для повторной сборки с проверкой хэшей тензоров.
• ✨ Бенчмарки авторов независимо воспроизведены на MATH-500, GSM8K и IFEval.

📌 Пример

Сценарий из карточки: включите thinking и задайте математическую задачу. На MATH-500 edited-версия с thinking on набирает 50.2 против 7.4 у базы, а доля ответов, упёршихся в лимит токенов, падает с 93% до 32%.

Подробнее

MATH-500: 50.2 против 7.4; GSM8K: 67.6 против 13.0; IFEval: 62.1 против 19.2 (thinking on).
С thinking off правка стоит около 1.5–2 пунктов, значимо только на MATH-500.
Почти весь прирост — из ответов, которые больше не зацикливаются до лимита токенов.
База — Apache 2.0, правка — CC BY 4.0.