Oc-e-Non-v1

Oc-e-Non-v1 — tersified-версия Qwen/Qwen3-4B-Instruct-2507 от p-e-w, сделанная через Heretic v2.1.0.dev0. Это 4.02B text-generation модель, которая отвечает заметно короче базовой Qwen: средняя длина ответа снижена примерно на 50%. Подходит, когда нужен сухой и предельно краткий ответ без лишних объяснений.

🔥 Ключевые особенности

• ⬇ Средняя длина ответа снижена примерно вдвое: 212.3 против 413.9 у базовой модели.
• ✅ Отвечает предельно кратко: на «What is 1+1?» выдаёт «2», на «Are dogs mammals?» — «Yes».
• 🦾 Сделана через Arbitrary-Rank Ablation в Heretic: слои 14–31, preserve_good_behavior_weight 0.3448 и steer_bad_behavior_weight 0.1004.
• 📉 PIQA acc_norm почти не просела: 0.7535 против 0.7595 у Qwen3-4B-Instruct-2507.
• 🧘 Наследует базу Qwen3-4B-Instruct-2507: 4.0B параметров, 36 слоёв, контекст до 262 144 токенов, только non-thinking режим.

💥 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = 'p-e-w/Oc-e-Non-v1'
tok = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype='auto', device_map='auto')
text = tok.apply_chat_template([{'role': 'user', 'content': 'Are dogs mammals?'}], tokenize=False, add_generation_prompt=True)
inputs = tok([text], return_tensors='pt').to(model.device)
out = model.generate(**inputs, max_new_tokens=256)
print(tok.decode(out[0][len(inputs.input_ids[0]):], skip_special_tokens=True))

Подробнее

Средняя длина ответа: 212.3 против 413.9 у базовой Qwen3-4B-Instruct-2507.
PIQA acc_norm: 0.7535 против 0.7595.
База: 4.0B параметров (3.6B без эмбеддингов), 36 слоёв, контекст 262 144 токена, только non-thinking режим, без <think>.
Сокращение достигнуто ARA-абляцией слоёв 14–31 через Heretic v2.1.0.dev0; конфиг terse доступен в проекте Heretic.