Qwen3.5-0.8B Heretic

Это decensored-вариант Qwen3.5-0.8B-weight-space-programming от ML-Intern-lab, обработанный через Heretic v2.2.0.dev0 методом Arbitrary-Rank Ablation. Базовая модель примечательна тем, что её не обучали: frontier-LLM «Astra» прочитала веса Qwen3.5-0.8B, диагностировала патологию зацикливания и вручную отредактировала 131 072 веса (64 колонки MLP output в слоях 15 и 19, down_proj). Ни gradient descent, ни файнтюна — прямая правка. Размер — 0.85B параметров.

👀 Ключевые особенности

• 🤭 Отказов 9/100 против 97/100 у исходной модели
• 💪 KL-дивергенция всего 0.0744 — поведение сохранено
• 🍒 Правка воспроизводима бит-в-бит: каждый пересобранный тензор сверен по sha256
• 🐾 От публичного Qwen3.5-0.8B отличаются только два тензора — down_proj в слоях 15 и 19
• ✊ MATH-500: 51.0% против 5.0% у базовой модели, обрезанных на 32k токенах ответов 31.6% вместо 95%

😌 Пример

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

ckpt = "xtools-at/Qwen3.5-0.8B-weight-space-programming-UNCENSORED-heretic"
tok = AutoTokenizer.from_pretrained(ckpt)
llm = LLM(model=ckpt, dtype="bfloat16", max_model_len=34816)
prompt = tok.apply_chat_template([{"role": "user", "content": "What is $2^{10} + 24$?"}], tokenize=False, add_generation_prompt=True, enable_thinking=True)
print(llm.generate([prompt], SamplingParams(temperature=0.6, top_p=0.95, max_tokens=32768))[0].outputs[0].text)

Подробнее

Параметры ARA: слои 5–23, neighbor_count 11, preserve_good_behavior_weight 0.8805.
Замеры: vLLM, thinking on, temperature 0.6, top_p 0.95, top_k 20, presence_penalty 1.5, до 32 768 новых токенов, seed 0.
Полный прогон MATH-500 (500 задач × 4 сэмпла) занял 51 минуту на NVIDIA H200.
Ограничение: это мультимодальный чекпоинт, но vision-башня текстовыми промптами не используется.