Qwen3.5-4B-Router-1M

Открытая 4B-модель от MaziyarPanahi для одной задачи: определить, что агент должен сделать дальше и какой инструмент вызвать. Это Qwen3.5-4B с decision head от Unsloth (LoRA r=16), обученная на 17 600 строках только с source labels — ответы Jev в обучении не использовались. Модель возвращает калиброванную вероятность по каждому варианту, а не свободный текст.

▶ Ключевые особенности

• ▶ 4B-модель + Unsloth decision head (LoRA r=16) для выбора следующего действия или инструмента.
• 1⃣ Возвращает калиброванную вероятность по каждому варианту, не свободный текст.
• 2⃣ Обучена на 17 600 строках только с source labels; ответы Jev не использовались.
• 3⃣ На held-out test из 480 строк: 86.5% против 80.6% у Jev 1.13 (+5.8 п.п., 95% интервал +1.7…+10.1).
• 4⃣ Покрывает next action и tool choice для agent и customer service.

▶ Пример

from unsloth import FastDecisionModel
model, tokenizer = FastDecisionModel.from_pretrained("MaziyarPanahi/Qwen3.5-4B-Router-1M", max_seq_length=4096, load_in_4bit=False)
FastDecisionModel.for_inference(model)
question = {"decision": {"type": "choice", "instructions": "Which available tool should be called next?"}}
state = '{"available_tools": [{"name": "get_order_status"}, {"name": "transfer_to_human_agent"}]}'
print(FastDecisionModel.predict(model, tokenizer, state, question))

Подробнее

Тест: 480 строк из 4 семейств; all 4 — 86.5% против 80.6% у Jev 1.13 (+5.8 п.п.; 95% интервал +1.7…+10.1).
Обучение: 17 600 строк, LoRA r=16, 0.67 эпохи за 1.9 ч на одной A100.
Лимиты: не клиническая модель; не trace judge — на trace_disposition 34.2% против majority 43.3%, на trace_outcome 47.5% против 41.7%.
Home advantage: метки — source trace, а не human verdict; модель училась на тех же метках, читать как согласие с источником.
Читает до 4 096 токенов; длинные строки до 13 000 символов в тесте покрыты не полностью.