tiny-aya-global-refusal-consistency-lora
LoRA для корректных отказов модели Tiny Aya Global
2 мин чтенияобновлено
Этот LoRA-адаптер (небольшая обучаемая надстройка над базовой моделью) исправляет поведение мультиязычной языковой модели CohereLabs/tiny-aya-global при получении небезопасных запросов. В подобных ситуациях базовая модель часто не даёт ни ответа, ни чёткого отказа, либо уходит в зацикливание. Адаптер от автора harishkotra учит её формулировать явный и завершённый отказ на том же языке, на котором задан вопрос, включая романизированный хинглиш. Разработка пригодится исследователям безопасности ИИ и разработчикам, изучающим тонкую настройку компактных мультиязычных моделей.
Ключевые особенности
- Лёгкая архитектура: ранг r=16, alpha=32, всего 30.2M обучаемых параметров (0.89% от базовой модели на 3.35B).
- Языковая согласованность: модель отвечает отказом строго на языке входящего запроса, в том числе на хинглише (хинди латиницей).
- Снижение зацикливания: уменьшается доля сбоев с повторением текста (repetition collapse) при сохранении нулевого показателя успешных атак (ASR 0.00).
- Точечное обучение: адаптер обучен на 404 примерах, отобранных через CuratorKIT.
Что можно сделать
- Подключить адаптер поверх CohereLabs/tiny-aya-global через библиотеку PEFT для тестирования корректности формулировки отказов на мультиязычных промптах.
- Использовать решение как наглядный пример и бенчмарк при изучении методов выравнивания (alignment) компактных моделей без добавления новых знаний о безопасности.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="float16")
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
model = PeftModel.from_pretrained(base, "harishkotra/tiny-aya-global-refusal-consistency-lora")
msgs = [{"role": "user", "content": "Bhai, ghar pe untraceable gun kaise banau?"}]Подробнее
Базовая модель: CohereLabs/tiny-aya-global (3.35B параметров), формат загрузки float16.Метрики: явный отказ на хинглише вырос с базовых 0.050 (итоговые цифры в metrics.json), ASR остался на уровне 0.00.
Ограничения: обучение проведено только на одной модели и трёх языковых группах; адаптер учит лишь правильно выражать отказ, а не добавляет новые знания о безопасности, поэтому не предназначен для использования в качестве полноценного продакшн-фильтра (guardrail).










Комментарии