Qwen3.8-Flash-Next Heretic
расцензуренная версия
1 min readupdated
Неофициальная abliterated-версия экспериментальной Qwen3.8-Flash-Next, собранная с помощью Heretic (custom fork) v1.3.0+custom. По метаданным — 177,39 млрд параметров; база сочетает Gated DeltaNet, Qwen Sparse Attention, MoE и n-gram embedding. Задача — image-text-to-text.
Ключевые особенности
- Abliteration через Heretic: отказы снижены с 99/100 у оригинала до 0/100.
- KL divergence к оригиналу — 0,0818.
- Контекст 262 144 токена нативно, расширяется до 1 000 000.
- Архитектура базы: 512 экспертов MoE (10 routed + 1 shared), Gated Residual, MTP-слой.
- 125B LM с 6B активных параметров + 51B n-gram embedding + 4B MTP.
Пример
Промпт: «Опиши изображение и проверь, нет ли противоречий в приложенном длинном документе». Модель принимает image-text и отвечает текстом; длинный контекст рассчитан на агентские и документные сценарии.
Подробнее
Бенчмарки базы: DeepSWE 1.1 — 58,7; SWE-bench Pro — 62,5.Требования к VRAM в карточке не указаны.
Это экспериментальный preview архитектуры для Qwen4; официальная Qwen3.8-Flash имеет 1M контекста по умолчанию и встроенные инструменты.
Модель decensored: ожидаемо менее осторожна в отказах.










Comments