CircuitKavach-Aya
хирургическая защита LLM от мультиязычных атак
2 min readupdated
Компактная языковая модель на 3.35 млрд параметров от автора soapyyapps, созданная в рамках хакатона Lexsi Lab Track 2 на базе CohereLabs/tiny-aya-fire. Она решает проблему уязвимости нейросетей перед вредоносными запросами по кибербезопасности на смешанных языках (Hinglish, Gujlish, Tanglish, Kanglish). Вместо полного переобучения здесь применили точечную пересадку весов, изменив всего 2.55% параметров модели. Это позволило резко повысить защиту от атак без потери качества ответов на обычные безобидные запросы.
Ключевые особенности
- Точечное вмешательство: с помощью метода EAP-IG (атрибуции графов с интегрированными градиентами) авторы нашли 4 ключевых подмодуля, отвечающих за отказ от опасных запросов, и обновили только их.
- Эффективность обучения: модифицировано всего 2.55% весов (4 блока из 72), что в 39.2 раза эффективнее полного SFT-файнтюнинга.
- Нулевой процент ложных отказов: показатель Benign Over-Refusal остался на уровне 0.0%, то есть модель не параноит на обычных промптах.
- Смешанные языки: защита настроена на кодовое смешение английского с хинди, гуджарати, тамильским и каннада.
Что можно сделать
- Защита чат-ботов: использовать как безопасную компактную основу для ассистентов, работающих с мультиязычной аудиторией.
- Исследование интерпретируемости: изучить подход C-ΔΘ (хирургической пересадки дельт весов) для точечного исправления поведения других LLM без деградации базовых навыков.
Пример
На тестовом наборе из 400 промптов базовая модель tiny-aya-fire отклоняла лишь 6.0% атак на смеси гуджарати и английского (Gujlish), тогда как CircuitKavach-Aya блокирует 100.0% таких запросов, сохраняя 0.0% отказов на безопасных вопросах.
Подробнее
Бенчмарк (400 промптов): общий Attack Refusal Rate вырос с 40.0% до 94.5% (+54.5 п.п.), Redteam Pass Rate — с 19.0% до 38.1%.По языкам: English — 100.0%, Hinglish — 100.0%, Gujlish — 100.0%, Kanglish — 78.0%.
Обучение: SFT-адаптер LoRA с безопасной проекцией градиентов (SafeGrad) и последующий перенос весов только в слои
layers.0.mlp, layers.16.self_attn, layers.20.self_attn и layers.21.self_attn.









Comments