Qwen3.8-Flash-Next-Heretic-LoRA
абляция отказов с переключателем в vLLM
1 min readupdated
Это LoRA-адаптер Heretic v2.1 (MPOA, r=3) для Qwen/Qwen3.8-Flash-Next от nchapman. Он снижает число отказов модели, сохраняя её поведение, и собран как standalone unrotated BF16-адаптер.
Ключевые особенности
- Heretic v2.1 с Magnitude-Preserving Orthogonal Ablation и SVD-рангом r=3.
- На тесте
test[:100]: 0/100 отказов против 99/100 у базовой модели. - First-token KL divergence на
harmless_alpaca— 0.0296 nats. - В
pareto/лежат компромиссные чекпоинты: от 0/100 отказов при KL 0.0296 до 99/100 при KL 0.0052. - Работает со всеми вариантами чекпоинтов
Qwen/Qwen3.8-Flash-Next: BF16/FP8, Hadamard-GPTQ W4A16 и mixed-precision RCO. - В vLLM адаптер можно включать по запросу, не поднимая отдельный сервер.
Пример
vllm serve nchapman/Qwen3.8-Flash-Next-W4A16-HGPTQ \
--trust-remote-code \
--enable-lora \
--max-lora-rank 8 \
--lora-modules uncensored=nchapman/Qwen3.8-Flash-Next-Heretic-LoRA
Подробнее
Оценка Heretic v2.1:train[:400] на mlabonne/harmless_alpaca и mlabonne/harmful_behaviors, проверка на test[:100].Целевые модули — 92 residual-writing projection:
self_attn.o_proj, linear_attn.out_proj, mlp.down_proj и mlp.shared_expert.down_proj.Требования к VRAM в карточке не указаны.










Comments