Qwen2.5-7B-Instruct-heretic

Это decensored-версия Qwen/Qwen2.5-7B-Instruct, сделанная через Heretic v2.0.0.dev0. Инструктивная causal LLM на 7.61B параметров: 28 слоёв, GQA (28 голов Q / 4 KV), контекст до 131 072 токенов и генерация до 8 192. В метаданных варианта указан английский; базовая Qwen2.5 заявлена как мультиязычная.

✨ Ключевые особенности

• 🛠 Снижение отказов через Magnitude-Preserving Orthogonal Ablation (MPOA).
• 📉 Отказов стало 4/100 против 97/100 у оригинальной модели.
• 🧠 KL-дивергенция к базовой Qwen2.5-7B-Instruct — 0.0606.
• 🔁 Модель воспроизводима: в репозитории есть каталог reproduce.
• 📏 Для входа длиннее 32 768 токенов нужен YaRN; текущий config.json настроен на 32 768.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "42nazky/Qwen2.5-7B-Instruct-heretic"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

messages = [{"role": "user", "content": "Кратко объясни, что такое LLM."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

Подробнее

Бенчмарк отказов: 4/100 против 97/100 у оригинала.
KL-дивергенция — 0.0606.
Параметров: 7.61B (6.53B без эмбеддингов); контекст до 131 072, генерация до 8 192.
Точные требования к VRAM в карточке не указаны; для длинного контекста рекомендован vLLM и статический YaRN.