Qwen3-8B-heretic
версия Qwen3-8B со снятой цензурой
2 мин чтенияобновлено
Автор RProrochenko выпустил децензурированную модификацию языковой модели Qwen/Qwen3-8B (8,19 млрд параметров, 36 слоёв), созданную с помощью инструмента Heretic v2.1.0 методом Arbitrary-Rank Ablation (ARA — точечное удаление направлений в весах нейросети, отвечающих за отказы). На практике модель отвечает на запросы, от которых оригинальная Qwen3-8B уклоняется: доля отказов снизилась с 99/100 до 5/100 при минимальном отклонении от исходного распределения (KL divergence 0.0267). При этом сохраняются все базовые возможности семейства Qwen3: рассуждения в режиме thinking, работа с кодом, вызов инструментов и поддержка более 100 языков. Подойдёт разработчикам и энтузиастам, которым нужна компактная локальная LLM без излишних фильтров для ролевых сценариев, креатива и исследований.
Ключевые особенности
- Резкое снижение отказов: показатель Refusals упал с 99/100 у оригинальной Qwen3-8B до 5/100.
- Сохранение исходного качества: низкое значение KL divergence (0.0267) говорит о том, что модификация затронула только механизм отказов на слоях 0–35, почти не меняя остальное поведение модели.
- Два режима генерации: поддержка плавного переключения между режимом рассуждений (
enable_thinking=Trueс тегами/think) и быстрым диалогом (/no_think). - Агентские функции и мультиязычность: совместимость с MCP и Qwen-Agent для вызова внешних инструментов, а также работа на 100+ языках и диалектах.
Что можно сделать
- Развернуть локально в Ollama, LM Studio, llama.cpp или MLX-LM для свободного брейншторма, ролевых диалогов и генерации текстов без срабатывания встроенных фильтров.
- Подключить через vLLM или SGLang как OpenAI-совместимый API-сервер для локальных чат-ботов и агентов.
- Использовать в связке с Qwen-Agent и MCP-серверами для автоматизации задач, требующих вызова инструментов и логического анализа.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "RProrochenko/Qwen3-8B-heretic"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
text = tokenizer.apply_chat_template([{"role": "user", "content": "Привет!"}], tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=512)[0]))
Подробнее
Метрики: Refusals — 5/100 (против 99/100 у базы), KL divergence — 0.0267.Контекст: 32 768 токенов нативно и до 131 072 токенов с масштабированием YaRN.
Софт: требуется
transformers>=4.51.0 (на старых версиях возникает KeyError: 'qwen3').Рекомендации: для режима thinking использовать Temperature=0.6, TopP=0.95, TopK=20 и не применять greedy decoding.










Комментарии