Qwythos-9B-v2

Qwythos-9B-v2 от Empero AI — обновлённая версия 9B-модели для генерации текста на базе Qwythos-9B-Claude-Mythos-5-1M. Это hygiene-апдейт: сохранены глубокие chain-of-thought, 1M-контекст и намеренно uncensored-режим для research, а главное — устранено повторение и дегенерация при greedy и низкотемпературной генерации.

💡 Ключевые особенности

• 🔄 Зацикливание при greedy снижено с 6.7% до 0.0%, при temp 0.6 — с 1.3% до 0.7%.
• 💭 Reasoning сохранён: MMLU 83.8% (CoT), GSM8K 93.6%, GPQA-diamond 49.0%, ARC-Challenge 96.4%, HumanEval 77.4% pass@1.
• ⚙ Возвращён нативный MTP-модуль multi-token prediction — конфиг и веса снова согласованы, speculative decoding работает.
• ℹ Модель больше не вставляет идентичность в каждый ответ — представляется только по запросу.
• 📚 Контекст 1 048 576 токенов через YaRN (фактор 4); архитектура Qwen3.5-9B hybrid с 3:1 Gated-DeltaNet linear-attention : full attention.
• 🔓 Остаётся intentionally uncensored для research, cybersecurity, red-teaming, биологии, химии, фармакологии и клинических задач.

💻 Пример

from transformers import AutoModelForImageTextToText, AutoTokenizer
model_id = "empero-ai/Qwythos-9B-v2"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype="bfloat16", device_map="auto")
messages = [{"role": "user", "content": "Prove that there are infinitely many primes."}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=16384, do_sample=True, temperature=0.6, top_p=0.95, top_k=20)

Подробнее

MMLU: 83.8% в CoT и 69.6% в 5-shot loglikelihood; GSM8K — 93.6%, HumanEval pass@1 — 77.4%.
Зацикливание: 0.0% при greedy и 0.7% при temp 0.6; refusal rate — 0.0%.
Это robustness-релиз, не скачок возможностей: HumanEval ниже base Qwen3.5-9B (77.4 против 81.7).
Веса 9B в bfloat16, лицензия Apache-2.0; бенчмарки — внутренний harness, без официальных прогонов.