LodeTuner для Aya Expanse 8B

LoRA-адаптер для CohereLabs/aya-expanse-8b от meowludo. Меняет ответы человеку в глубокой обиде — на суд, совет или больницу, — который говорит завуалированно: модель замечает это, спрашивает, что он имеет в виду, и остаётся в диалоге вместо ответа на поверхностный вопрос списком услуг. Часть проекта Lexsi AI Safety Hackathon 2026.

⚙ Ключевые особенности

• 🎯 Замечает завуалированные сигналы риска в разговоре о жалобе и уточняет смысл, а не отвечает шаблонно.
• 🧩 Обучен сначала через SFT, затем через DPO на 305 on-policy парах: выбран ответ, опирающийся на слова человека; отклонён — с искажением.
• ⚡ В слепом сравнении предпочтён 239 из 240 раз против исходной Aya Expanse 8B и 205 из 240 — против Qwen3 14B с тем же промптом.
• 🩻 Ограничение: искажает или неверно цитирует детали кейса примерно в трети ответов; это research artefact, не готовый ассистент.

💭 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained('CohereLabs/aya-expanse-8b', torch_dtype='bfloat16', device_map='auto')
model = PeftModel.from_pretrained(base, 'meowludo/aya-expanse-8b-lodetuner-grounding-dpo')
tok = AutoTokenizer.from_pretrained('CohereLabs/aya-expanse-8b')

Подробнее

Бенчмарк SFT-адаптера: сигналы риска 0.04 → 0.45 (p=0.001), насилие к другим после ответа 1.21 → 0.58 (p=0.006); эффект на suicide-шкале не подтверждён.
Слепые судьи предпочли адаптер 239/240 против исходной Aya и 205/240 против Qwen3 14B.
DPO на 305 парах снизил искажение цитат только с 33% до 30% — не надёжно.
Лицензия CC BY-NC 4.0, наследуется от Aya Expanse 8B; это исследовательский артефакт.