tiny-aya-global-riptide-dpo2
DPO-LoRA для безопасности подростков
1 min readupdated
Это LoRA-адаптер для CohereLabs/tiny-aya-global (3.3B), обученный через DPO на 1016 синтетических парах предпочтений из аудита многоходовой безопасности молодёжи. Второй ремонтный проход в аудите; исследовательский артефакт, не готовый к деплою.
Ключевые особенности
- PEFT LoRA: r=16, α=32, модули q/k/v/o_proj; вес адаптера — 30,7 MB.
- 1016 DPO-пар: 709 замороженных + 307 новых против secrecy coaching и age-blind romance.
- 36/120 сценариев против 24/120 у базы под judge Luna; McNemar p=0.023.
- Под judge Muse — 32/120 против 29/120, p=0.72; family 3 падает 3/18 → 0/18 под Luna, family 6 остаётся 0/16.
- Английский, 3.3B, один seed; база gated, лицензия CC-BY-NC-4.0.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_id = 'CohereLabs/tiny-aya-global'
tok = AutoTokenizer.from_pretrained(base_id)
model = AutoModelForCausalLM.from_pretrained(base_id, torch_dtype=torch.bfloat16, device_map='auto')
model = PeftModel.from_pretrained(model, 'maximilianmilo/tiny-aya-global-riptide-dpo2')
model.eval()
Подробнее
Бенчмарки: 36/120 vs 24/120 (Luna), 32/120 vs 29/120 (Muse); McNemar p=0.023 / 0.72.Семейство 3: 3/18 → 0/18 под Luna; семейство 6: 0/16 у базы и адаптера.
Ограничения: английский, один seed, оба judge не прошли порог надёжности; не для деплоя.
База 3.3B, gated, CC-BY-NC-4.0; VRAM в карточке не указан.










Comments