Qwen3.8-Flash-Next Heretic

Неофициальная abliterated-версия экспериментальной Qwen3.8-Flash-Next, собранная с помощью Heretic (custom fork) v1.3.0+custom. По метаданным — 177,39 млрд параметров; база сочетает Gated DeltaNet, Qwen Sparse Attention, MoE и n-gram embedding. Задача — image-text-to-text.

⭐ Ключевые особенности

• 🕸 Abliteration через Heretic: отказы снижены с 99/100 у оригинала до 0/100.
• 💎 KL divergence к оригиналу — 0,0818.
• 👁 Контекст 262 144 токена нативно, расширяется до 1 000 000.
• 🔥 Архитектура базы: 512 экспертов MoE (10 routed + 1 shared), Gated Residual, MTP-слой.
• 📌 125B LM с 6B активных параметров + 51B n-gram embedding + 4B MTP.

💻 Пример

Промпт: «Опиши изображение и проверь, нет ли противоречий в приложенном длинном документе». Модель принимает image-text и отвечает текстом; длинный контекст рассчитан на агентские и документные сценарии.

Подробнее

Бенчмарки базы: DeepSWE 1.1 — 58,7; SWE-bench Pro — 62,5.
Требования к VRAM в карточке не указаны.
Это экспериментальный preview архитектуры для Qwen4; официальная Qwen3.8-Flash имеет 1M контекста по умолчанию и встроенные инструменты.
Модель decensored: ожидаемо менее осторожна в отказах.