svd-safety-l2_dualk_jbb_dual_trace_r40

Это исследовательский чекпоинт Llama-2-7b-chat, сжатый dual-domain K-FAC whitened SVD до 60.0% плотных параметров и восстановленный stage-2 LoRA (r=8, alpha=16). Автор — Jeesup; модель нужна для замера trade-off между utility и safety после SVD-сжатия, а не как готовый чат-ассистент.

⚙ Ключевые особенности

• ⚙ Сжатие: удалено 40.00% параметров, осталось 0.5998 доли; rank budget — SVD-LLM.
• 🛑 Safety-калибровка: jbb_harm_resp:13, safety weight a=0.0485; solver dual, joint-basis ALS.
• 🎯 Восстановление: SVD-LLM stage-2 LoRA, sequential U then V, alpaca-cleaned, 2 эпохи, lr 1e-4.
• 🔬 Это одна ячейка grid по selection rules и budgets; не general-purpose chat model.
• 🧩 База: meta-llama/Llama-2-7b-chat-hf; лицензия Llama 2 Community License.

🔬 Пример

Сценарий из карточки: чекпоинт используют как один узел сетки экспериментов — сравнивают, как SVD-сжатие влияет на safety и utility, и проверяют, какое правило выбора компонентов лучше восстанавливает поведение. Для чата «из коробки» он не предназначен.