svd-safety-l3_dualk_dual_trace_r50

Это чекпойнт meta-llama/Meta-Llama-3-8B-Instruct, сжатый методом dual-domain K-FAC whitened SVD: учитываются кривизна utility и safety, бюджет рангов берётся из SVD-LLM. После сжатия до 50,0% плотных параметров модель восстановлена stage-2 LoRA от SVD-LLM. Это исследовательский артефакт о том, как SVD-сжатие ломает safety-поведение и какое правило выбора компонентов лучше его чинит; это не general-purpose chat-модель.

🔥 Ключевые особенности

• 🤖 База — meta-llama/Meta-Llama-3-8B-Instruct; итоговая доля параметров — 0,4997.
• 🔥 dual-domain K-FAC whitened SVD: utility + safety curvature, safety weight a = 0,1238, нормализация trace.
• 💻 Восстановление stage-2 LoRA: последовательно U, затем V; alpaca-cleaned, r=8, alpha=16, 2 эпохи, lr 1e-4, batch 64, cutoff 256, bf16.
• 📓 Одна ячейка сетки по selection rules и бюджетам; часть вариантов в сетке намеренно safety-degraded.
• 🚨 Не предназначен для деплоя как ассистент: сначала самостоятельная оценка.

💻 Пример

Сценарий из карточки: использовать чекпойнт как экспериментальный субъект для замера trade-off безопасности и полезности после сжатия; перед выводами модель нужно оценить самостоятельно.

Подробнее

Метрики: AdvBench ASR — 0,0115; StrongREJECT ASR — 0,0383; macro over-refusal (WildGuard) — 0,3724; WikiText-2 perplexity — 22,8540.
Калибровка: utility — wikitext-2-raw-v1, 255×2048 токенов; safety — 512 samples; seed 42.
Ограничения: исследовательский чекпойнт, не general-purpose; часть ячеек сетки намеренно safety-degraded. Лицензия — Meta Llama 3 Community License.