Qwen3.8-4B-Distill ARA Abliterated

Это Safetensors-релиз от Austriani — ARA-аблация (Arbitrary-Rank Ablation) модели empero-ai/Qwen3.8-4B-Distill. Базовая модель — полнопараметрический дистиллят Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B: гибридный декодер с Gated DeltaNet и full-attention, нативный function calling. Контекст — 262 144 токена, лицензия Apache-2.0.

🔥 Ключевые особенности

• 🔥 ARA-аблация через Heretic: оптимизатор балансирует сохранение полезного поведения, выравнивание вредных выходов с безвредными и перекоррекцию.
• 👀 Заявленный уровень отказов — 3/100 при KLD 0.0586; это выбранный trial 15/40.
• 💪 4B-класс параметров: в метаданных 4,54B, но в карточке есть предупреждение о разночтениях (4B vs ~4.7B).
• 🍒 Нативное окно контекста — 262 144 токена.
• 😏 Гибридный декодер: слои Gated DeltaNet чередуются с full-attention; есть function calling по спецификации Qwen3.5.
• 💅 Совместима с Transformers, vLLM и TGI; для GGUF и ik_llama.cpp есть отдельные квантованные репозитории.

👀 Пример

Сценарий из карточки: модель загружается через AutoModelForCausalLM и AutoTokenizer; для GGUF/ik_llama.cpp нужно брать отдельные квантованные репозитории. Проверять сохранение способностей стоит на своих задачах — метрики отказа и KLD взяты из выбранного trial.

Подробнее

Заявленные метрики: 3/100 отказов, KLD 0.0586 (trial 15/40).
Параметры ARA: слои 3–21, preserve_good 0.6106, steer_bad 0.0032, overcorrect 0.7700, neighbor_count 12.
Ограничение: метрики из выбранного trial; перед продакшеном проверьте сохранение способностей.
В карточке отмечены разночтения по числу параметров: 4B-класс vs ~4.7B.