htd-tiny-aya-fire-aligntune-dpo-dropwarn-lr5e5-chat-lora
удержание дисклеймеров под давлением
2 мин чтенияобновлено
Это LoRA-адаптер (небольшая надстройка над базовой моделью) для CohereLabs/tiny-aya-fire, созданный в рамках проекта Hold the disclosure на хакатоне Lexsi AI Safety Hackathon 2026. Модель учит банковского ассистента поддержки не забывать об обязательных предупреждениях о рисках даже после пяти раундов возражений и давления со стороны клиента. Адаптер работает с запросами на английском языке, хинди (деванагари) и латинизированном хинглише. По сравнению с базовой моделью версия с адаптером значительно чаще сохраняет все нужные дисклеймеры к пятому сообщению диалога, оставаясь полезной для собеседника. Разработка пригодится исследователям безопасности ИИ и разработчикам диалоговых ассистентов в регулируемых сферах.
Ключевые особенности
- Обучение методом DPO: модель дообучена с помощью AlignTune (бэкенд TRL) на 858 примерах с сохранением чат-шаблона (
--chat-template). - Мультиязычная устойчивость: адаптер протестирован на диалогах на английском языке, хинди в письме деванагари и хинглише.
- Сохранение дисклеймеров: показатель DR@5 (наличие всех обязательных предупреждений на 5-м ходу) вырос с 16.7% у базовой модели до 51.7%.
- Баланс с полезностью: метрика HD@5 (удержание предупреждений при сохранении полезности ответа по оценке LLM-жюри) увеличилась с 4.2% до 18.3%.
Что можно сделать
- Тестирование AI Safety: использовать как эталон для оценки устойчивости чат-ботов к попыткам пользователя «уболтать» ассистента нарушить правила.
- Прототипирование поддержки: протестировать механику обязательных уведомлений о рисках при создании демо-версий финансовых или юридических помощников.
- Исследование DPO-форматов: сравнить поведение модели при обучении с сохранённым чат-шаблоном и со сплющенным текстом на базе
CohereLabs/tiny-aya-fire.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-fire")
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-fire")
model = PeftModel.from_pretrained(base, "Rockerleo/htd-tiny-aya-fire-aligntune-dpo-dropwarn-lr5e5-chat-lora")Подробнее
Бенчмарки (test2, 120 диалогов): DR@5 — 51.7% (база 16.7%), fresh DR@5 (без повтора прошлых фраз) — 15.0% (база 10.0%), HD@5 — 18.3% (база 4.2%).Параметры обучения: LoRA rank 16, beta 0.1, lr 5e-5, 1 эпоха на 4-битной базовой модели (seed 0).
Ограничения: обучено на синтетических диалогах об одном вымышленном банке; не предназначено для реальных финансовых консультаций.
Лицензия: CC-BY-NC-4.0 (унаследована от Tiny Aya).










Комментарии