Qwen3.8-Flash-Next-Uncensored
BF16-база без отказов для файнтюна
2 мин чтенияобновлено
Полноточная BF16-сборка Qwen3.8-Flash-Next с удалённым отказным поведением (abliteration): модель охотнее отвечает на запросы, от которых оригинал уклоняется. Это крупная MoE-модель с нативным зрением и видео, tool-calling, режимом размышлений и MTP-головой; в карточке указаны 125B параметров и около 6B активных. Главная ценность — исходные веса без квантизации: на них можно делать SFT, DPO, RL, LoRA/QLoRA и переквантование в FP8/MLX. Пригодится для исследования refusal-механизмов, red-team и собственного VLM-сервера на vLLM.
Ключевые особенности
- MoE: 512 экспертов, top-10, 48 слоёв и гибридное внимание (36 Gated-DeltaNet + 12 full-attention).
- Сохранены vision + video tower и MTP-голова: модель остаётся VLM и поддерживает спекулятивное декодирование.
- BF16 safetensors: 131 шард, 336 ГБ, контекст 262 144 токена; без квантизации.
- Проверено: tool-calling, vision/OCR 6/6, reasoning; MMLU 87.7% против 90.0% у базы.
- Abliteration по Arditi et al. (2024): отказное направление удалено из 149 residual-writer тензоров.
Что можно сделать
- Дообучить под свой домен через SFT/DPO/RL или LoRA/QLoRA, сохранив vision и MTP.
- Переквантовать в FP8 или MLX под своё железо — так и получены производные релизы.
- Поднять OpenAI-совместимый сервер на vLLM с tool-calling, картинками и переключением thinking.
- Исследовать refusal-механизмы и проводить red-team в контролируемой среде.
Пример
docker run --gpus all -p 8000:8000 -v /model:/model \
vllm/vllm-openai:qwen38-flash-next-x86_64-cu130 \
--model /model --tensor-parallel-size 8 --trust-remote-code \
--max-model-len 262144 --enable-expert-parallel
Подробнее
Abliteration: одно refusal-направление удалено на слое 24; затронуто 149 тензоров, vision-башня и роутер не тронуты, MTP-голова сохранена.Железо: BF16-веса — 336 ГБ, 131 шард; пример запуска — TP=8, vLLM day-0 и transformers 5.16+.
Ограничения: гардрейлы сняты, возможен вредный или предвзятый контент; только исследования и red-team, ответственность на пользователе.
Лицензия Apache 2.0; отказные метрики — rule-based эвристика, не LLM-judge.










Комментарии