tiny-aya-fire-lexsi-ctheta-repair
точечный «ремонт» безопасности без дообучения
2 мин чтенияобновлено
tiny-aya-fire-lexsi-ctheta-repair — это исправленная версия компактной мультиязычной языковой модели CohereLabs/tiny-aya-fire (3.35 млрд параметров, 36 слоёв, архитектура Cohere2ForCausalLM), ориентированной на языки Южной Азии и английский. Авторы из проекта lexsihack устранили уязвимости в мультиязычной безопасности и утечки вредоносных инструкций по кибербезопасности с помощью метода Circuit-Restricted Weight Arithmetic (C-ΔΘ) — офлайн-арифметики весов внутри выделенного контура нейронов. Вместо стандартного дообучения (SFT или DPO), которое часто заставляет модель отказываться даже от безобидных рабочих запросов, здесь с помощью атрибуции градиентов (EAP-IG) нашли 11 ключевых матриц в слоях MLP и скорректировали только их. Модель пригодится разработчикам корпоративных ассистентов и инструментов для специалистов по информационной безопасности, которым нужна локальная LLM без лишних задержек на внешние фильтры.
Ключевые особенности
- Хирургическая точность правки: изменены только 11 из 36 матриц
mlp.down_proj.weight(слои 0, 1, 2, 6, 13, 23, 27, 28, 29, 33, 35), остальные веса модели остались нетронутыми до бита. - Быстрое получение чекпоинта: поиск контура и вычисление поправок весов заняли около 17 секунд на одной видеокарте NVIDIA L4 без полноценного переобучения.
- Снижение утечек в кибербезопасности: доля ответов, полезных для атакующих (Attacker-Useful), снизилась с 9.4% до 5.0%–5.5% при сохранении 10 из 10 практических защитных сценариев для SecOps.
- Усиление мультиязычной защиты: отказ от вредоносных запросов на бенгали и банглише (
BanglaSafe) вырос с 45.0% до 64.0%, при этом ложные отказы на обычных запросах не выросли.
Что можно сделать
- Ассистент для защитников (Blue Team): использовать модель для генерации правил обнаружения угроз для SIEM/Sysmon, настройки
fail2banиnginxили разбора инцидентов без риска выдачи готовых эксплойтов. - Локальные мультиязычные боты: развернуть лёгкую 3.35B-модель в закрытом контуре для поддержки английского, хинди, бенгальского, тамильского, телугу и каннада без дополнительных классификаторов безопасности на входе и выходе.
- Исследование интерпретируемости: воспроизвести конвейер
CuratorKIT → CircuitKIT → SafeTune → AuditKITиз репозитория авторов для точечной коррекции поведения других компактных LLM.
Пример
Проверка поведения модели на защитных и пограничных запросах (например, настройка правил fail2ban, конфигураций nginx или работа с локальными индийскими языками) доступна в интерактивном демо-приложении авторов на Gradio и Streamlit (hf_space/app.py в репозитории RealASHWIN122/lexsihack).
Подробнее
Базовая модель: CohereLabs/tiny-aya-fire (3.35B, bfloat16)Бенчмарки: HarmBench — 71.0% отказов (+2.0 п.п.), StrongREJECT — 96.5%, BanglaSafe — 64.0% (+19.0 п.п.), OR-Bench-Hard-1k — 58.2% ложных отказов (-0.5 п.п.)
Сохранение знаний: WMDP-Cyber 39.6%, WMDP-Bio 61.5%, WMDP-Chem 45.3% (сдвиг менее 0.7 п.п.)
Вычисления: ~17 секунд на NVIDIA L4, коэффициент коррекции α = 0.50










Комментарии