DeepSeek-V4.1-Flash-1017-obliterated

Aki251 выложил ablated-версию DeepSeek-V4.1-Flash-1017. Это 754.64B-модель в BF16 safetensors, полученная методом failspy через OBLITERATUS; лицензия — MIT.

⚙ Ключевые особенности

• 🧨 Удалено refusal-направление: полный отказ снизился с 81.62% до 4.30% на корпусе OBLITERATUS из 842 промптов.
• 📊 MMLU на 2500 вопросах: 88.08% против 87.96% у базы, разница +0.12 п.п. (p=0.742829).
• 💾 Веса BF16 safetensors, 754.64B параметров, лицензия MIT.
• ⚠ Карточка отдельно фиксирует рост harmful assistance: 78.28% против 10.38% у исходной модели.

💡 Пример

Сценарий из карточки: берётся запрос, на который базовая DeepSeek-V4.1-Flash-1017 даёт полный отказ. У ablated-версии ожидается ответ без refusal; при этом оценка отдельно помечает harmful assistance и actionability.

Подробнее

Refusal rate 4% (2 из 50 промптов), KL divergence 0.1305 nats, coherence 100%, capability 100% — 6/6 проверок.
MMLU: 2202/2500 (88.08%) у ablated против 2199/2500 (87.96%) у базы.
Ограничение: оценка не исполняла и не проверяла вредные инструкции; 25 ответов ablated-версии остались без аннотаций.