aya-drift-v3-adapters
LoRA-адаптеры для изучения и восстановления защиты от джейлбрейков
2 мин чтенияобновлено
Набор исследовательских LoRA-адаптеров (небольших надстроек для точечной донастройки весов) от автора GSMB на базе мультиязычной модели CohereLabs/tiny-aya-global. Репозиторий посвящён проблеме «дрейфа безопасности» (safety drift): когда при дообучении на предметную задачу языковая модель начинает чаще отвечать на опасные запросы, особенно на редких языках. В комплекте идут адаптеры domain, safety и mixed, а также замеры их слияния через метод task arithmetic для возврата защитных отказов без потери качества по целевой задаче. Материал пригодится исследователям AI Safety (безопасности ИИ) и разработчикам, которые дообучают мультиязычные LLM.
Ключевые особенности
- Три базовых адаптера в наборе:
domainдля целевой задачи,safetyдля восстановления отказов иmixed(совместное обучение на обоих типах данных). - Проверка слияния через SafeTune: в карточке сравнили обычное сложение весов (
repair_aX) и ортогонализированное слияние (repair_ortho_aX) с разными коэффициентами. - Мультиязычная оценка: замеры проводились на знакомых и отложенных (held-out) языках, включая английский, испанский, хинди, арабский, бенгальский, тамильский и суахили.
- Сравнение методов разметки: автор сопоставил оценки автоматического судьи на базе LLM и словаря ключевых слов с ручной проверкой на выборке из 97 примеров.
Что можно сделать
- Воспроизвести эксперименты по AI Safety: сравнить поведение исходной
tiny-aya-global, модели после доменного дообучения и вариантов после слияния адаптеров на своих тестовых промптах. - Протестировать алгоритмы слияния LoRA: проверить на практике работу
safetune.recover.task_arithmeticи ортогонализации обновлений весов при объединении конфликтующих адаптеров. - Изучить кросс-языковую устойчивость: проанализировать, как меняется доля отказов и успешных джейлбрейков на языках с разной представленностью в обучающей выборке.
Пример
Сценарий из карточки для оценки восстановления защиты после дообучения на CohereLabs/tiny-aya-global: к базовой модели сначала применяется целевой адаптер domain (при этом уровень отказов на опасные запросы в отложенных языках падает с 30.4% до 17.1% по оценке LLM-судьи), а затем добавляется safety с коэффициентом 1.0 через safetune.recover.task_arithmetic, что поднимает долю отказов обратно до 38.8% при сохранении метрики качества целевой задачи (Domain chrF 34.26 против 28.71 у базы).
Подробнее
Базовая модель: CohereLabs/tiny-aya-global, библиотека PEFT.Бенчмарки (судья / ключевые слова): на held-out языках отказ на опасные запросы у base — 30.4% / 65.8%, у domain — 17.1% / 52.1%, у repair_a1.0 — 38.8% / 63.7%.
Математический тест MGSM (4 языка, n=160): 56.2% у base, 47.5% у domain, 48.8% у repair_a1.0.
Ограничение: адаптер domain намеренно ослабляет защитные отказы и предназначен строго для исследований — автор прямо запрещает использовать его в продакшене.










Комментарии