Ratchet tool-calling adapter

LoRA-адаптер (rank 16, 40.5 МБ) от harshbhx для базовой модели nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16. Учит модель отвечать на запрос вызова инструмента одним JSON-объектом {"name": ..., "arguments": {...}} либо {"name": "none", "arguments": {}}, если ни один инструмент не подходит. Обучен дистилляцией с Nemotron 3 Ultra на 2 940 синтетических примерах.

🔥 Ключевые особенности

• ✅ Строгий формат ответа: ровно один JSON-объект, без текста вокруг.
• 💻 QLoRA: 4-bit NF4 база, rank 16, alpha 32, обучение на q/k/v/o/up/down_proj.
• 📚 2 940 примеров, 2 эпохи, 736 шагов (~2 ч 33 мин), пик GPU-памяти 6.65 ГБ.
• 🔥 На Hard-экзамене (150 строк, незнакомые инструменты) — 90.7% против 62.7% у базовой модели.
• ❗ На BFCL-экзамене (300 строк) — 80.3% против 77.3%: разница в пределах погрешности.
• ❌ Слабое место — create_ticket и редкие инструменты вроде search_files: всего 15 строк в обучении.

💻 Пример

from peft import PeftModel
model = PeftModel.from_pretrained(
    model, "harshbhx/ratchet-nemotron-nano-4b-toolcall"
)
ids = tok.apply_chat_template(
    messages, add_generation_prompt=True,
    return_tensors="pt", return_dict=True, enable_thinking=False
)

Подробнее

Hard: 136/150 = 90.7% (учитель Ultra — 91.3%); BFCL: 241/300 = 80.3% (Ultra — 88.3%).
Замеры: строгий скоринг, greedy, enable_thinking=False, 4-bit база, до 256 новых токенов — другие настройки не измерялись.
Пик памяти при обучении — 6.65 ГБ; нужны trust_remote_code=True и ядра mamba-ssm / causal-conv1d на NVIDIA GPU.
Обучен под одиночный вызов на коротких англоязычных промптах; мультивызовы, стриминг и другие языки не тестировались. Базовая модель не входит в репозиторий — качайте у NVIDIA.