Qwen3.8-27B refusal band-ablation

Исследовательский артефакт от Feyd89: low-rank правка весов Qwen3.8-27B без обучения, снижающая отказы. Изменение ограничено слоями L20–47 из 64 — по одному направлению на слой. Это не продукт и не «безопасный ассистент».

🧐 Ключевые особенности

• 🫡 Low-rank directional ablation в духе Arditi et al. 2024: меняются ~12% значений весов, но только вдоль одного направления на слой; правка обратима.
• 🚫 Отказы снижаются неравномерно: на батарее из 9 категорий (40 промптов ×10) acceptance от ~76% до ~10%, в среднем ~50%, часто с оговоркой и частичной помощью.
• 💯 Capability в первых тестах (Q8, против base): MMLU-Pro (CoT) 73% → 74%, GSM8K (CoT) 93% → 93%, known facts (/97) 99% → 99%.
• 👀 Та же правка по всем 64 слоям почти убирает отказы, но «лоботомирует» модель: MMLU 73→9, GSM8K 93→14; ограничение полосой сохраняет способности.
• 🔥 Готовый файл qwen3.8-27b-refusal-band-Q8_0.gguf для llama.cpp; векторы направлений и скрипты применения не поставляются.

👀 Пример

Сценарий из карточки — интерпретируемость и AI-safety: сравнить base и модифицированную модель на 9-категорийной батарее запросов и измерить, где и насколько снижаются отказы, не теряя MMLU-Pro и GSM8K.

Подробнее

Бенчмарки: MMLU-Pro (CoT) 74% против 73% у base; GSM8K (CoT) 93% и 93%; known facts 99% и 99%.
Формат: Q8_0 GGUF для llama.cpp; обучение не проводилось, правка low-rank и обратимая.
Ограничения: отказы снижены неравномерно и в основном с оговорками; для деплоя как безопасный ассистент не предназначено.
Защита: правку можно поймать аудитом весов — «write energy» направления отказов сильно уходит в минус; надёжнее подписанный хэш/манифест весов.