Granite 4.1 8B Abliterated

Это abliterated-версия ibm-granite/granite-4.1-8b на 8,38 млрд параметров, сделанная с помощью toolkit ablate. Авторы называют её инструментом для mechanistic-interpretability и исследований безопасности: у модели нашли направления отказа в residual stream и спроецировали их из весов. Дообучения не было — это rank-3 линейная правка.

🤔 Ключевые особенности

• 🤓 Rank-3 subspace ablation: правка «запечена» в embedding, attention output и MLP output.
• 📝 Направления отказа извлекали difference-of-means на 128 AdvBench и 128 Alpaca промптах; конфиг подбирали Optuna за 40 trials.
• 🗣 Refusal rate на held-out harmful prompts снизился с 0.9375 до 0.3958.
• 😐 mean_kl = 0.5231 к базовой модели на benign prompts, coherence = 0.847.
• 😱 Safety guardrails намеренно ослаблены: модель для red-teaming и исследований, не для пользовательских продуктов без своего safety-слоя.

📝 Пример

Сценарий: исследователь сравнивает refusal rate базовой Granite 4.1 8B и abliterated-версии на held-out harmful prompts, а затем проверяет дрейф на benign prompts по mean_kl. Конфиг аблации: n_directions=3, alpha≈1.4567, слои 35–40.

Подробнее

Аблация затрагивает слои 35–40; n_directions = 3, alpha ≈ 1.4567.
Метрики: refusal_rate 0.9375 → 0.3958, mean_kl 0.5231, coherence 0.847.
Ограничения: линейная правка может оставлять остаточные отказы и давать дрейф способностей; safety кодируется избыточно.
Оценка — на 48 held-out промптах каждого типа с keyword-судьёй, который пропускает мягкие отказы.