Qwen3-8B ZeroZero Heretic

Это Qwen3-8B на 8,2 млрд параметров (36 слоёв, контекст 32 768 токенов), из которой через Heretic 2 убрали отказы и «слоп». Архитектура, токенизатор и режим thinking остались стоковыми. Основной формат — safetensors для Transformers; также есть сборки MLX (4-bit) и GGUF (Q4_K_M).

✅ Ключевые особенности

• ✅ На harmful-prompt тесте Heretic отказов на 91% меньше: 100/100 → 9/100.
• 🧃 Попаданий в slop-лист на 68% меньше: 78/100 → 25/100.
• ⭐ Slop-слов на 1000 стало 3,6 вместо 16,5 — на 78% меньше.
• 💻 Проверки фактов и логики не просели: 13/15 до и после.
• 🚨 Нет встроенного фильтра: для реальных пользователей нужна своя модерация.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "LastMachine/Qwen3-8B-ZeroZero-Heretic"
tok = AutoTokenizer.from_pretrained(model_id); model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto")
messages = [{"role": "user", "content": "What do most people get wrong about startups?"}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=True)
inputs = tok(text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=1024, do_sample=True, temperature=0.6, top_p=0.95, top_k=20)
print(tok.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

Подробнее

Бенчмарки: отказы 9/100 против 100/100; slop-слова 3,6 против 16,5 на 1000; факты и логика — 13/15 без изменений.
KL-дивергенция: 2,69 от базы на безвредных промптах; 0,76 от decensored-модели на писательских.
Репозиторий gated — сначала запросите доступ; лицензия Apache 2.0.
Ограничения: модель может уверенно ошибаться, по Китаю выдаёт «санитизированную» официальную версию и завышает позицию One-China; не подходит для финансовых, медицинских и юридических решений.