Tiny Aya Global Safety FT Repair

LoRA-адаптер от DhruvParmar051 для мультиязычной Tiny Aya Global. Это safety-файнтюн уже «дрейфовавшей» версии модели: retraining baseline, который снижает долю вредных ответов, но требует слияния с gated-адаптером перед использованием. В карточке указаны en, es, ru, ar, hi, fil, bn, sw — русский поддерживается.

✅ Ключевые особенности

• ✅ Safety LoRA: дообучение для снижения вредных ответов; это retraining baseline, а не one-shot repair.
• 🌍 Мультиязычность: en, es, ru, ar, hi, fil, bn, sw — русский включён.
• 📌 Двухступенчатый запуск: сначала merge адаптера tiny-aya-global-drifted-harmful, затем этого safety-адаптера.
• 📓 Оценка: held-out test split, судья Aya Expanse 32B.
• ⏳ Цена baseline: 42 минуты GPU и в 12 раз больше времени, чем one-shot repair.
• ❌ Лицензия CC-BY-NC 4.0: только некоммерческое использование.

💻 Пример

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", dtype="bfloat16")
drifted = PeftModel.from_pretrained(base, "DhruvParmar051/tiny-aya-global-drifted-harmful", subfolder="adapter").merge_and_unload()
model = PeftModel.from_pretrained(drifted, "DhruvParmar051/tiny-aya-global-safety-ft-repair", subfolder="adapter").merge_and_unload()
tok = AutoTokenizer.from_pretrained("DhruvParmar051/tiny-aya-global-safety-ft-repair")

Подробнее

Средняя доля вредных ответов — 1.3% на held-out test split (судья Aya Expanse 32B).
Over-refusal — 15.8%.
Retraining baseline: 42 минуты GPU, в 12 раз больше времени, чем one-shot repair.
База — Tiny Aya Global + gated-адаптер tiny-aya-global-drifted-harmful; лицензия CC-BY-NC 4.0, только non-commercial.