Aya Expanse 8B Recovery LoRA
надёжные tool calls для платежей
1 min readupdated
Это LoRA-файнтюн базовой модели CohereLabs/aya-expanse-8b на 8B параметров, сделанный Qasim Jethwa для Lexsi AI Safety & Alignment Hackathon, Track 3 (Agentic Fine-tuning). Адаптер учит агента выдавать JSON-список вызовов инструментов для восстановления неудачных платежей.
Ключевые особенности
- LoRA SFT: r=16, alpha=32, dropout=0.05; обучение на 400 синтетических, но проверенных кейсах tool-calling из rule engine Recovery Copilot.
- База — CohereLabs/aya-expanse-8b, адаптер собран через PEFT.
- На 128 отложенных кейсах: tool-call exact-match 0.6667, argument accuracy 0.8798, invalid-call rate 0.0000.
- Safety-critical класс bank-server-error в v2 — 17/17, тогда как в v1 было 0/17.
- Structural task success — 0.8438 (108/128), exact task success — 0.3672 (47/128).
- Ограничение: синтетический однодоменный набор из 8 причин отказа платежа; перенос на живой трафик не заявлен.
Пример
from peft import PeftModel
model = PeftModel.from_pretrained(
base, 'qasimjethwa/aya-expanse-8b-recovery-lora')
text = tok.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(text, return_tensors='pt').to(model.device),
max_new_tokens=256, do_sample=False)Подробнее
Обучение v2: 75 шагов, 378 с на 1x NVIDIA L40S, train_loss 0.2045, mean_token_accuracy 0.9919.Главные метрики v2: tool-call exact-match 0.6667 против 0.0288 у base; structural task success 0.8438.
Оставшиеся ошибки — в двух формах плана: wrong-CVV иногда получает лишний offer_alternate_method, insufficient-funds иногда теряет финальный offer call.
Оценка проведена на held-out split из 128 кейсов того же генератора; перенос на реальный платёжный трафик не проверялся.










Comments