tiny-aya-global-codemix-steer
защита LLM при смешении языков
2 мин чтенияобновлено
Артефакт для steering (направления активаций модели во время генерации без изменения её весов), созданный для языковой модели CohereLabs/tiny-aya-global (3.35B). Автор dhrubasumatary подготовил его в рамках хакатона Lexsi AI Safety & Alignment для решения проблемы безопасности на запросах с кодовым переключением — в частности, на хинглише (смесь хинди и английского латиницей). На чистом английском базовая модель корректно отклоняет опасные запросы, но при переходе на смешанный язык начинает пропускать нежелательные ответы и чаще ошибочно отказывает в безобидных вопросах. Применение вектора отказа (refusal_direction.safetensors) снижает долю успешных атак на хинглише в четыре раза, сохраняя полезность ответов и почти не замедляя генерацию. Инструмент пригодится исследователям безопасности ИИ и разработчикам мультиязычных ассистентов.
Ключевые особенности
- Работа без изменения весов: направление отказа вычислено с помощью инструмента SafeTune (
RefusalDirectionTrainer) и применяется напрямую при инференсе. - Баланс безопасности и полезности: при оптимальном коэффициенте
alpha = 0.1доля успешных атак на хинглише падает с 20.0% до 5.0%, а ложные отказы снижаются с 30.0% до 25.0%. - Минимальные накладные расходы: задержка на один промпт увеличивается всего на ~30 мс (с 0.393 с до 0.422 с на GPU A100).
- Воспроизводимый пайплайн: проект включает открытый бенчмарк из 120 парных промптов и связку утилит CuratorKIT, SafeTune и AuditKIT.
Что можно сделать
- Встроить вектор управления в инференс Tiny Aya Global для фильтрации нежелательного контента в мультиязычных чатах.
- Использовать опубликованный пайплайн и датасет
codemix-safety-checkкак шаблон для тестирования устойчивости других небольших LLM на смешанных языках.
Пример
pip install "git+[https://github.com/Lexsi-Labs/CuratorKIT](https://github.com/Lexsi-Labs/CuratorKIT)"
curatorkit run curation/pipeline.yaml --output-dir curation/out/
pip install modal && modal setup
modal secret create codemix-hf HF_TOKEN=
modal deploy run_modal.py
Подробнее
Базовая модель: CohereLabs/tiny-aya-global (3.35B), судья при оценке — Qwen/Qwen2.5-7B-Instruct.Метрики на отложенной выборке Hinglish (alpha 0.1): Attack Success Rate 5.0% (было 20.0%), Over-refusal 25.0% (было 30.0%), Benign usefulness 65.0%.
Ограничения: выборка небольшая (80 тестовых промптов CodeMix и 150 XSTest); на XSTest уровень ложных отказов остаётся высоким (46.0%), а повышение alpha выше 0.3 резко снижает полезность модели.










Комментарии