svd-safety-l3_dualk_mix_trace_r50

Это исследовательский чекпоинт на базе meta-llama/Meta-Llama-3-8B-Instruct (8.03B параметров). Модель сжата dual-domain K-FAC whitened SVD до 50,0% плотных параметров (итоговая доля 0,4997) и восстановлена stage-2 LoRA SVD-LLM; это не универсальный чат-ассистент, а артефакт для замера компромисса safety/utility.

🔥 Ключевые особенности

• 🦾 Сжатие: dual-domain K-FAC whitened SVD с бюджетом рангов SVD-LLM, удалено 50% параметров.
• 🔥 Восстановление: stage-2 LoRA — последовательно U, затем V; alpaca-cleaned, r=8, alpha=16, 2 эпохи, lr 1e-4.
• 👁 Safety-калибровка: отдельная кривизна по utility и safety, вес safety a=0.1238, нормализация trace.
• ✅ Метрики: AdvBench ASR 0.0135, StrongREJECT ASR 0.0415, Macro over-refusal 0.3928, WikiText-2 perplexity 20.0526.
• 📉 Ограничение: часть ячеек сетки намеренно safety-degraded; чекпоинт не для продакшена.

🤯 Пример

Сценарий из карточки: использовать чекпоинт как экспериментальный субъект — прогнать AdvBench и StrongREJECT, замерить over-refusal на WildGuard и срав��ить с несжатым Llama-3-8B-Instruct. Перед выводами карточка требует собственной оценки модели.