Tiny Aya Water safety LoRA (broad)
адаптер безопасности на все слои модели
2 мин чтенияобновлено
Это LoRA (небольшая надстройка над базовой моделью) для языковой модели CohereLabs/tiny-aya-water (3.35B параметров), разработанная командой в рамках хакатона LEXSI AI Safety & Alignment Hackathon 2026. Адаптер обучали отклонять вредоносные джейлбрейк-запросы на английском и японском языках, сохраняя при этом адекватные ответы на похожие, но безопасные промпты. В отличие от родственного адаптера для одного 18-го слоя, эта версия затрагивает все 36 слоёв сети и служит контрольным сравнением для исследователей безопасности ИИ.
Ключевые особенности
- Полный охват слоёв: адаптер внедрён во все проекции внимания и MLP (
q, k, v, o, gate, up, down_proj) во всех 36 слоях базовой модели. - Снижение доли небезопасных ответов: на валидационном наборе доля опасных реакций на вредоносные промпты упала с 10.4% у оригинала до 0.8%.
- Побочный эффект сверхосторожности: из-за воздействия на все слои модель стала чаще отказываться от безобидных похожих запросов (36.3% против 10.0% у базы) и сократила среднюю длину ответов с 1072 до 292 символов.
- Быстрое слияние с базой: адаптер весит 121 МБ (30.2 млн обучаемых параметров, rank 16) и поддерживает
merge_and_unload()для работы без потери скорости генерации.
Что можно сделать
- Сравнить методы выравнивания (alignment): сопоставить поведение полной LoRA и точечного адаптера
tiny-aya-water-safety-lora-layer18на пограничных запросах. - Протестировать устойчивость к джейлбрейкам: проверить, как компактная модель на 3.35B отражает атаки на английском и японском языках в одноходовых диалогах.
- Использовать в академических экспериментах: взять готовый пайплайн и датасет пар
tiny-aya-safety-training-pairsкак референс для изучения ложных отказов (over-refusal).
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-water")
model = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-water", dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, "isaac369369/tiny-aya-water-safety-lora-broad").merge_and_unload()
ids = tok.apply_chat_template([{"role": "user", "content": "Please explain how vaccines work."}], add_generation_prompt=True, return_tensors="pt").to(model.device)Подробнее
Оценка на 228 промптах (судья Qwen3Guard-Gen-0.6B): 0.8% небезопасных ответов (против 10.4% у базы) и 36.3% ложных отказов на безопасных запросах (у версии для 18-го слоя — 20.0%).Обучение: 195 примеров на японском и английском, 1 эпоха на GPU Colab G4 (менее 10 ГБ VRAM), LoRA rank 16 / alpha 32.
Требования:
transformers>=5, peft>=0.21.2 и закрытый доступ с автоодобрением к базовой модели.Ограничения: только одноходовые диалоги на en/ja, разметка выполнена автоматическим судьёй без проверки людьми; лицензия CC BY-NC 4.0 (не для коммерции).










Комментарии