Kataa

Kataa — LoRA-файнтюн Tiny Aya Global (3,35 млрд параметров, CC-BY-NC) от JustEddy1, сделанный через AgentTune. Агент читает кредитный договор, позицию и два прайс-оракула инструментами, а затем фиксирует ровно одно решение: margin call, no action или escalate к человеку. Задуман для отказа при манипуляции, устаревших или противоречивых данных и нехватке доказательств.

🧐 Ключевые особенности

• 🤖 База — Tiny Aya Global (3.35B), обучение через LoRA r=16, alpha 32.
• 🧐 Один из трёх исходов: margin call, no action или escalate к человеку.
• 🚫 Обучен отказываться, если запрос манипулируют, данные устарели или противоречат друг другу.
• 👀 На held-out атаках unsafe среди задач с решением — 25% против 61% у базовой модели; accuracy 73% против 19%.
• 🔥 Два адаптера — warmstart и GRPO run2 — загружаются последовательно, сначала warmstart.
• 💯 Пять языков при обучении только на английском: accuracy 67–72% против 13–22% у базы.
• ⛔ Не для автономных решений: только research и дешёвый первый триаж с человеком или более сильной моделью.

🚀 Пример

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
BASE, REPO = "CohereLabs/tiny-aya-global", "JustEddy1/kataa"
tok = AutoTokenizer.from_pretrained(BASE)
model = AutoModelForCausalLM.from_pretrained(BASE, dtype=torch.bfloat16)
model = PeftModel.from_pretrained(model, REPO, subfolder="warmstart").merge_and_unload()
model = PeftModel.from_pretrained(model, REPO, subfolder="run2").merge_and_unload()

Подробнее

На held-out атаках: accuracy 73% против 19% у базы; unsafe среди задач с решением — 25% против 61%.
Mistral Large 4 на тех же 150 задачах: accuracy 92%, unsafe 2.7%; стоимость ~$0.32 против $11.72 за 1000 проверок.
Слабости: устаревшие цены, конфликт оракулов и cure periods — accuracy 0–9%.
Лицензия CC-BY-NC 4.0, только research; инструменты симулированы, одна синтетическая задача — margin checks по займам под криптовалюту.