tiny-aya-global-refusal-circuit-lora
LoRA для усиления отказов в Tiny Aya Global
2 мин чтенияобновлено
Это LoRA-адаптер (небольшая обучаемая надстройка над базовой моделью) от автора MdSadiqMd на базе мультиязычной языковой модели CohereLabs/tiny-aya-global. Адаптер снижает долю ответов на вредоносные запросы сразу на пяти языках: английском, хинди, арабском, французском и суахили. При этом в самой карточке честно указаны два побочных эффекта — рост перплексии (меры неуверенности модели в тексте) на 26 % и продолжение генерации после фразы отказа на неанглийских языках, поэтому для практического применения автор рекомендует использовать исправленную версию tiny-aya-global-refusal-circuit-lora-fluent. Текущий вариант полезен исследователям безопасности LLM (больших языковых моделей) и тем, кто изучает механистическую интерпретируемость нейросетей.
Ключевые особенности
- Снижает выполнение вредоносных запросов с 12,4 % до 3,8 % на хинди, арабском, французском и суахили, а на английском — с 8,8 % до 1,9 %.
- Обучен всего на 80 вредоносных промптах одной категории (оружие и насилие) на пяти языках и 151 безопасном промпте из XSTest для сохранения адекватности ответов.
- Нацелен на 149 голов внимания и 35 слоёв MLP (верхние 30 % компонентов, выделенных с помощью CircuitKIT по метрике EAP-IG), содержит 13,5 млн обучаемых параметров с рангом LoRA 8.
- Требует загрузки поверх весов в формате
bfloat16без слияния (merge), так как при объединении вbf16от 31 до 43 % значений адаптера обнуляются.
Что можно сделать
- Использовать в экспериментах по безопасности мультиязычных моделей на базе
CohereLabs/tiny-aya-globalи сравнить его поведение с вариантом-fluent. - Воспроизвести замеры из репозитория автора (Circuit-Steering) на собственных наборах промптов для оценки баланса между отказами и ложными срабатываниями.
- Встроить в локальный пайплайн через библиотеку
peft, подавая промпты в минимальном чат-формате без системной преамбулы, в котором проводился аудит.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = "CohereLabs/tiny-aya-global"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, dtype="bfloat16")
model = PeftModel.from_pretrained(model, "MdSadiqMd/tiny-aya-global-refusal-circuit-lora")
Подробнее
Метрики на отложенных тестах: Global-MMLU (5 языков) снизился незначительно — с 0,453 до 0,440, ложные отказы на безопасных граничных запросах выросли с 3,1 % до 8,8 % (в основном за счёт суахили: с 3 % до 20 %).Обучение заняло 12 минут на чипе Apple M4 Max (выбран чекпоинт на 60-м шаге из 120, learning rate 2e-4, LoRA rank 8, alpha 16).
Ограничения: при загрузке в bfloat16 нельзя делать merge весов; на неанглийских языках модель часто продолжает текст после фразы отказа; сам автор отмечает, что адаптер на случайных компонентах того же размера показывает схожий результат в пределах 1 процентного пункта.
Лицензия производной модели: CC-BY-NC 4.0 (унаследована от CohereLabs/tiny-aya-global), код распространяется под BSD-3-Clause.










Комментарии