Linguard LoRA для Tiny Aya Earth

LoRA-адаптер безопасности для CohereLabs/tiny-aya-earth от Esimuda. Учит модель отказывать на мошенничество, социальную инженерию и вредные запросы на английском, Nigerian Pidgin, йоруба, хауса и игбо, сохраняя полезность в обычных вопросах про банки, SIM-карты и счётчики. Сделан для Lexsi AI Safety & Alignment Hackathon (ноябрь 2026).

✅ Ключевые особенности

• 🦾 LoRA r=16, alpha=32, dropout 0.05 на проекциях q/k/v/o.
• 🌟 Обучение: AdamW, lr 1e-4, 2 эпохи, 226 строк, 1× NVIDIA A10G (HF Space).
• ✅ Данные: вредные запросы → отказ на языке; безвредные → собственный ответ базовой модели (self-distillation полезности). Неанглийские строки oversampled ×3.
• 😎 На 120 held-out seeds: accuracy 99.2%, attack success 1.3%, over-refusal 0.0%.

😎 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-earth")
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-earth", dtype="bfloat16")
model = PeftModel.from_pretrained(base, "Esimuda/linguard-tiny-aya-earth-lora")

Подробнее

На 120 held-out seeds: accuracy 99.2%, attack success 1.3%, over-refusal 0.0% (базовая модель: 75.0%, 39.5%, 0.0%).
Единственный «успех атаки» — отказ на йоруба с тоновыми знаками, который не поймал keyword-scorer.
Ограничения: keyword-heuristic judge, небольшая выборка, атаки и контрпримеры писал один автор.
Полные транскрипты: eval/transcripts.json; метрики: eval/metrics.json.