К содержимому
Компьютерное зрение

Qwen3.5-0.8B-think-close-v0.1

ручная правка весов против зацикливания

2 мин чтенияобновлено

Компактная языковая модель на базе Qwen/Qwen3.5-0.8B (873 млн параметров), которую автор sandeepselvaraj модифицировал без дообучения, градиентов и датасетов. Вместо этого в стиле weight-space programming (прямого редактирования весов вручную) агент Claude проанализировал сбои модели и изменил всего 1 024 веса — 0.00012% от всей сети. Оригинальная Qwen3.5-0.8B с включённым режимом рассуждений (thinking) часто застревает в бесконечном цикле мыслей и не выдаёт финальный ответ, а эта версия чаще закрывает блок размышлений и переходит к результату. Модель пригодится разработчикам и исследователям, которые запускают лёгкие локальные LLM и хотят изучить влияние точечной правки весов на поведение сети.

Ключевые особенности

  • Точечная правка без обучения: строка токена в матрице эмбеддингов embed_tokens.weight (связанной с выходным слоем) умножена на коэффициент 1.15.
  • Меньше бесконечных циклов: на тестовых задачах по программированию количество незавершённых ответов при лимите в 4 096 токенов снизилось со 112 до 82 из 210.
  • Честная оценка качества: правка не делает модель умнее в коде, а при отключённом режиме thinking она по-прежнему решает задачи лучше, чем с ним.
  • Полная совместимость: архитектура, токенизатор и лицензия Apache 2.0 остались такими же, как у базовой Qwen/Qwen3.5-0.8B.

Что можно сделать

  • Запустить локально через библиотеку transformers как замену базовой Qwen3.5-0.8B в сценариях, где нужен включённый режим рассуждений с меньшим риском зависания.
  • Использовать файл EDITS.json из репозитория как пример для собственных экспериментов с прямым редактированием весов небольших LLM.

Пример

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

name = "sandeepselvaraj/Qwen3.5-0.8B-think-close-v0.1"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype=torch.bfloat16)
text = tok.apply_chat_template([{"role": "user", "content": "Write a Python function."}], tokenize=False, add_generation_prompt=True, enable_thinking=True)
out = model.generate(**tok(text, return_tensors="pt"), max_new_tokens=2048, do_sample=True, temperature=0.6)
ПодробнееБенчмарки (thinking on, 1 прогон): HumanEval — 23.2% против 17.1% у оригинала; MBPP sanitized — 26.6% против 23.4% (автор отмечает, что прирост укладывается в разброс между запусками).
Вызов инструментов (tool calls): 18 из 20 успешных против 20 из 20 у базовой модели.
Ограничения: циклы сокращены, но не убраны полностью; модель не проверялась на SWE-bench, математических бенчмарках и визуальных входах.
Детали правки: коэффициент 1.15 подобран на 48 тренировочных задачах, более высокие значения (1.3 и 1.5) приводили к преждевременному закрытию мыслей и появлению лишних тегов в ответе.
Обсудить Telegram 0 18

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 1.6 GB · готовые файлы2.3 GB
  • FP8 / INT8рекомендуемвеса 0.8 GB1.4 GB
  • 4-bitвеса 0.5 GB1.0 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # sandeepselvaraj/Qwen3.5-0.8B-think-close-v0.1
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download sandeepselvaraj/Qwen3.5-0.8B-think-close-v0.1 --local-dir ~/models/Qwen3.5-0.8B-think-close-v0.1
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Qwen3.5-0.8B-think-close-v0.1
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

Qwen/Qwen3.5-0.8B
  1. Qwen3.5-0.8B-Baseоснова семьи
  2. Qwen3.5-0.8B
  3. Qwen3.5-0.8B-think-close-v0.1

Новые посты про версии Qwen3.5-0.8B-Base — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 9Все на Hugging Face
Слияния 1Все на Hugging Face

О модели

sandeepselvaraj/Qwen3.5-0.8B-think-close-v0.1
Автор
sandeepselvaraj
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

180

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Компьютерное зрение

Lucia v1.1-nc

Lucia v1.1-nc