Qwen3.5-0.8B-think-close-v0.1
ручная правка весов против зацикливания
2 min readupdated
Компактная языковая модель на базе Qwen/Qwen3.5-0.8B (873 млн параметров), которую автор sandeepselvaraj модифицировал без дообучения, градиентов и датасетов. Вместо этого в стиле weight-space programming (прямого редактирования весов вручную) агент Claude проанализировал сбои модели и изменил всего 1 024 веса — 0.00012% от всей сети. Оригинальная Qwen3.5-0.8B с включённым режимом рассуждений (thinking) часто застревает в бесконечном цикле мыслей и не выдаёт финальный ответ, а эта версия чаще закрывает блок размышлений и переходит к результату. Модель пригодится разработчикам и исследователям, которые запускают лёгкие локальные LLM и хотят изучить влияние точечной правки весов на поведение сети.
Ключевые особенности
- Точечная правка без обучения: строка токена
в матрице эмбеддинговembed_tokens.weight(связанной с выходным слоем) умножена на коэффициент 1.15. - Меньше бесконечных циклов: на тестовых задачах по программированию количество незавершённых ответов при лимите в 4 096 токенов снизилось со 112 до 82 из 210.
- Честная оценка качества: правка не делает модель умнее в коде, а при отключённом режиме thinking она по-прежнему решает задачи лучше, чем с ним.
- Полная совместимость: архитектура, токенизатор и лицензия Apache 2.0 остались такими же, как у базовой Qwen/Qwen3.5-0.8B.
Что можно сделать
- Запустить локально через библиотеку
transformersкак замену базовой Qwen3.5-0.8B в сценариях, где нужен включённый режим рассуждений с меньшим риском зависания. - Использовать файл
EDITS.jsonиз репозитория как пример для собственных экспериментов с прямым редактированием весов небольших LLM.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
name = "sandeepselvaraj/Qwen3.5-0.8B-think-close-v0.1"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype=torch.bfloat16)
text = tok.apply_chat_template([{"role": "user", "content": "Write a Python function."}], tokenize=False, add_generation_prompt=True, enable_thinking=True)
out = model.generate(**tok(text, return_tensors="pt"), max_new_tokens=2048, do_sample=True, temperature=0.6)
Подробнее
Бенчмарки (thinking on, 1 прогон): HumanEval — 23.2% против 17.1% у оригинала; MBPP sanitized — 26.6% против 23.4% (автор отмечает, что прирост укладывается в разброс между запусками).Вызов инструментов (tool calls): 18 из 20 успешных против 20 из 20 у базовой модели.
Ограничения: циклы сокращены, но не убраны полностью; модель не проверялась на SWE-bench, математических бенчмарках и визуальных входах.
Детали правки: коэффициент 1.15 подобран на 48 тренировочных задачах, более высокие значения (1.3 и 1.5) приводили к преждевременному закрытию мыслей и появлению лишних тегов
в ответе.









Comments