K2-Horizon-7B-Uno heretic

Поведенческая версия 7B-модели hermitdave/K2-Horizon-7B-Uno-merged — merged LoRA от IFM/K2-Horizon-7B-Uno. Автор репозитория Flakily6416 обработал её в Heretic 2.x методом Arbitrary-Rank Ablation (ARA), чтобы снизить отказы и подхалимство.

🔥 Ключевые особенности

• 🚫 Снижение отказов: 3/100 на mlabonne/harmful_behaviors test[:100] против 77/100 у исходной модели.
• 🧐 Меньше подхалимства: 0/78 на UnstableLlama/praise с льстивым system prompt против до 22/78.
• 🚀 Один ARA-проход и 100 триалов Optuna; выбран trial #77 с KL 0.191 относительно источника.
• 👀 Менялись только self_attn.o_proj и mlp.down_proj в learned layer range; layernorms, q_proj и gate_proj бит-в-бит совпадают с источником.
• ⛔ Шаблон чата оставлен с reasoning_effort=high; оценка шла с medium и пропуском CoT по тегам <ifm|think*>.

🧐 Пример

Сценарий из карточки: на промпт, который обычно вызывает отказ, модель отвечает прямо, без уклончивости; на ложную предпосылку — исправляет её, а не поддакивает. Фактические контрольные ответы не меняются по содержанию и стилю.

Подробнее

Отказы: 3/100 против 77/100; подхалимство: 0/78 против до 22/78; KL к источнику: 0.191.
Обучение: Heretic 2.0.0, ARA, lora_rank=50, 100 триалов Optuna.
Лицензия Apache 2.0.