Tiny Aya Water Multilingual Safety LoRA
адаптеры для исследования мультиязычной безопасности LLM
2 мин чтенияобновлено
Набор LoRA-адаптеров (небольших надстроек над базовой моделью) и векторов управления поведением, созданный для исследования безопасности языковых моделей на разных языках. Проект построен на базе CohereLabs/tiny-aya-water и сопровождает научную статью о том, делает ли safety-дообучение модель действительно безопаснее или просто заставляет её чаще отказываться от ответа. В репозитории собраны адаптеры, обученные на одних и тех же 568 примерах на английском, японском и обоих языках сразу, а также контрольные варианты с разной длиной обучения. Материалы пригодятся исследователям AI Safety, которые изучают кросс-языковой перенос ограничений и проблему ложных отказов (over-refusal).
Ключевые особенности
- Обучение затрагивает только один слой
model.layers.18.mlp.down_proj(всего 208 896 обучаемых параметров при rank 16 и alpha 32). - Несколько конфигураций обучения в подпапках: одноязычные (
en,ja), двуязычные (bi,bi_h2) и контрольные запуски на трёх разных seed. - В папку
steering_directions/добавлены направления в пространстве весов (формат.npz) для коррекции ложных отказов и вредоносных ответов. - Открытая воспроизводимость: автор опубликовал обучающие потоки данных, ответы моделей и оценки автоматического судьи.
Что можно сделать
- Сравнить на практике, как safety-дообучение на одном языке влияет на долю отказов в другом языке (кросс-языковой эффект).
- Применить готовые steering directions к матрицам
o_projиdown_projбазовой модели, чтобы снизить число ложных отказов на безобидные запросы без полного переобучения.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-water", torch_dtype="bfloat16")
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-water")
model = PeftModel.from_pretrained(base, "isaac369369/tiny-aya-water-multilingual-safety-lora", subfolder="ja/seed0")Подробнее
Метрики (оценка Qwen3Guard 0.6B): базовая модель даёт 11.13% небезопасных ответов на английском и 15.37% на японском при 4.26% и 3.32% ложных отказов.Двуязычный адаптер
bi снижает долю небезопасных ответов до 4.03% (EN) и 9.68% (JA), но повышает ложные отказы до 36.00% и 15.35%.Параметры обучения: PEFT LoRA (rank 16, alpha 32, dropout 0.05), AdamW 1e-4, 1 эпоха, batch size 1, max length 768.
Ограничения: разметка выполнена автоматически через Qwen3Guard без ручной проверки; лицензия CC BY-NC 4.0 (только для исследований).










Комментарии