Qwen2.5-1.5B-Instruct Heretic ARA

Это расцензуренная версия Qwen/Qwen2.5-1.5B-Instruct от aasis001. Модель на 1.54B параметров сделана инструментом Heretic v2.1.0 методом Arbitrary-Rank Ablation (ARA): без дообучения и новых данных, веса отредактированы напрямую, чтобы убрать поведение отказа.

⚙ Ключевые особенности

• 🛡 Отказы удалены: на 100 вредоносных промптах осталось 7/100 против 99/100 у оригинала.
• 🔄 Дрейф минимален: KL divergence на безвредных промптах — 0.0142.
• 📌 Бенчмарки почти не изменились: MMLU 59.6 против 60.2, GSM8K flexible 48.4 против 50.8; различия в пределах погрешности.
• 🎯 Параметры ARA: слои 11–28, preserve_good_behavior_weight 0.2704, steer_bad_behavior_weight 0.0002; LoRA rank 50, merged into base weights.
• ❗ Предназначена для исследований и red-teaming; при деплое нужны собственные guardrails.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "aasis001/Qwen2.5-1.5B-Instruct-heretic-ara"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype="bfloat16", device_map="auto")
msgs = [{"role": "user", "content": "Explain how the refusal direction in LLMs works."}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**ids, max_new_tokens=256)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))

Подробнее

MMLU: 59.6 vs 60.2; GSM8K flexible: 48.4 vs 50.8; strict-match: 30.4 vs 27.6.
Отказы: 7/100; KL divergence: 0.0142. Бенчмарки гонялись на RTX 3060 в bf16.
Ограничения: 1.5B — скромные знания и reasoning; отказы считаются по ключевым словам; наследует bias базовой модели.
Базовая модель — Apache 2.0.