svd-safety-l3_dualk_dual_tok_a0248_r40

Исследовательский чекпоинт от Jeesup на базе meta-llama/Meta-Llama-3-8B-Instruct (8.03B параметров). Модель сжата двухдоменным K-FAC whitened SVD с учётом кривизны utility и safety и rank budget от SVD-LLM до 60.0% плотных параметров, затем восстановлена stage-2 LoRA. Это не универсальный чат-ассистент, а артефакт для замера trade-off между safety и utility.

📝 Ключевые особенности

• 📝 Удалено 40.00% параметров: итоговая доля — 0.5998 от dense-модели.
• 🤔 Двухдоменная схема: отдельно учитываются utility- и safety-кривизна, safety weight a=0.2480.
• 😱 Метрики безопасности: AdvBench ASR 0.0346 и StrongREJECT ASR 0.0288 по HarmBench judge.
• 🤝 После сжатия — stage-2 LoRA SVD-LLM: последовательно U затем V, r=8, alpha=16, 2 эпохи.
• 🙅‍♂ Это research artifact, а не готовый продукт: часть ячеек сетки намеренно safety-degraded.

👌 Пример

Сценарий из карточки — использовать чекпоинт как экспериментальный субъект: сравнить ASR и perplexity с несжатой Llama-3-8B-Instruct и другими ячейками сетки, чтобы оценить, как сжатие влияет на safety и utility.

Подробнее

Метрики: AdvBench ASR 0.0346, StrongREJECT ASR 0.0288, Macro over-refusal 0.2180, WikiText-2 perplexity 16.9649.
Сжатие: удалено 40.00% параметров, итоговая доля 0.5998; seed 42; safety weight a=0.2480.
Ограничения: исследовательский артефакт, не готовый ассистент; сжатие само по себе повышает ASR, поэтому нужна собственная оценка.
Лицензия: Meta Llama 3 Community License.