Aya Expanse 8B Recovery LoRA

Это LoRA-файнтюн базовой модели CohereLabs/aya-expanse-8b на 8B параметров, сделанный Qasim Jethwa для Lexsi AI Safety & Alignment Hackathon, Track 3 (Agentic Fine-tuning). Адаптер учит агента выдавать JSON-список вызовов инструментов для восстановления неудачных платежей.

➕ Ключевые особенности

• ➕ LoRA SFT: r=16, alpha=32, dropout=0.05; обучение на 400 синтетических, но проверенных кейсах tool-calling из rule engine Recovery Copilot.
• ▶ База — CohereLabs/aya-expanse-8b, адаптер собран через PEFT.
• 🟰 На 128 отложенных кейсах: tool-call exact-match 0.6667, argument accuracy 0.8798, invalid-call rate 0.0000.
• 🔙 Safety-critical класс bank-server-error в v2 — 17/17, тогда как в v1 было 0/17.
• 🔜 Structural task success — 0.8438 (108/128), exact task success — 0.3672 (47/128).
• *⃣ Ограничение: синтетический однодоменный набор из 8 причин отказа платежа; перенос на живой трафик не заявлен.

▶ Пример

from peft import PeftModel
model = PeftModel.from_pretrained(
    base, 'qasimjethwa/aya-expanse-8b-recovery-lora')
text = tok.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(text, return_tensors='pt').to(model.device),
                     max_new_tokens=256, do_sample=False)