Kataa
3B-агент для маржин-колла, который умеет отказываться
2 min read
Kataa — LoRA-файнтюн Tiny Aya Global (3,35 млрд параметров, CC-BY-NC) от JustEddy1, сделанный через AgentTune. Агент читает кредитный договор, позицию и два прайс-оракула инструментами, а затем фиксирует ровно одно решение: margin call, no action или escalate к человеку. Задуман для отказа при манипуляции, устаревших или противоречивых данных и нехватке доказательств.
Ключевые особенности
- База — Tiny Aya Global (3.35B), обучение через LoRA r=16, alpha 32.
- Один из трёх исходов: margin call, no action или escalate к человеку.
- Обучен отказываться, если запрос манипулируют, данные устарели или противоречат друг другу.
- На held-out атаках unsafe среди задач с решением — 25% против 61% у базовой модели; accuracy 73% против 19%.
- Два адаптера — warmstart и GRPO run2 — загружаются последовательно, сначала warmstart.
- Пять языков при обучении только на английском: accuracy 67–72% против 13–22% у базы.
- Не для автономных решений: только research и дешёвый первый триаж с человеком или более сильной моделью.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
BASE, REPO = "CohereLabs/tiny-aya-global", "JustEddy1/kataa"
tok = AutoTokenizer.from_pretrained(BASE)
model = AutoModelForCausalLM.from_pretrained(BASE, dtype=torch.bfloat16)
model = PeftModel.from_pretrained(model, REPO, subfolder="warmstart").merge_and_unload()
model = PeftModel.from_pretrained(model, REPO, subfolder="run2").merge_and_unload()
Подробнее
На held-out атаках: accuracy 73% против 19% у базы; unsafe среди задач с решением — 25% против 61%.Mistral Large 4 на тех же 150 задачах: accuracy 92%, unsafe 2.7%; стоимость ~$0.32 против $11.72 за 1000 проверок.
Слабости: устаревшие цены, конфликт оракулов и cure periods — accuracy 0–9%.
Лицензия CC-BY-NC 4.0, только research; инструменты симулированы, одна синтетическая задача — margin checks по займам под криптовалюту.










Comments