agent-triage-classifier
маршрутизатор для персонального ассистента
2 мин чтенияобновлено
Это дообученный чекпоинт на базе английской laya, который решает не «о чём запрос», а «что агенту с ним делать». На вход подаётся текст сообщения, на выходе — одно типизированное решение из шести: ответить, уточнить, запустить длинную задачу, запланировать, изменить существующую запись или отдать более сильной модели. Модель работает за один forward pass без генерации, поэтому подходит как быстрый роутер перед инструментами агента. Карточка честно предупреждает: это английский классификатор для узких доменов персонального ассистента, а не универсальный LLM.
Ключевые особенности
- Шесть решений:
answer,ask,start_task,schedule,act,unsure. - Один forward pass без генерации: на вход текст, на выход типизированный
choiceи распределение вероятностей. - Дообучение от английской базы laya; около 0.42 млрд параметров, примерно 0.2 с на запрос на CPU.
- Вероятности калиброваны достаточно, чтобы выбрать порог и отдавать сомнительные случаи в
unsure.
Что можно сделать
- Поставить классификатор перед агентом: быстро решать, отвечать сразу, уточнять деталь, запускать длинную задачу, планировать или менять существующую запись.
- Использовать порог по вероятностям: ниже него передавать запрос более сильной модели, а не действовать наугад.
- Подключать к боту персонального ассистента для напоминаний, календаря, списков и коротких inline-действий.
- Для follow-up передавать строку
"Earlier request: ...\nNew request: ...".
Пример
import json
import laya
from huggingface_hub import hf_hub_download
agent = laya.load("kumarabd1996/agent-triage-classifier", device="cpu")
questions = json.load(open(hf_hub_download("kumarabd1996/agent-triage-classifier", "questions.json")))
out = agent.predict("remind me to call Sam at 5pm tomorrow", questions)["answers"]["decision"]
print(out["choice"], out["probabilities"])
Подробнее
На своём dev-сплите accuracy 0.887 против 0.196 у необученной базы, ECE 0.063.На 46 triage-кейсах автора — 41/46, но автор предупреждает: оценка оптимистична из-за близких доменов и возможных near-duplicates.
Обучение: 874 train / 97 dev строк, 6 эпох, effective batch 16.
Ограничения: только английский; видит лишь сообщение и опционально предыдущее; слабее на именованном времени позже вместе с длинной задачей; не safety или moderation классификатор.










Комментарии