Task Router v4
классификатор запросов для AI-агентов
2 мин чтенияобновлено
Модель Task Router v4 с 322 миллионами параметров создана для того, чтобы за один проход отвечать на десять вопросов о входящем запросе к мультиагентной системе. Она определяет тип задачи, сложность, необходимые инструменты и исполнителя для маршрутизации запросов в настольном приложении PugPort. Модель построена на базе энкодера mmBERT-base (ModernBERT) с использованием фреймворка Laya и поддерживает английский и китайский языки. Новинка подойдет разработчикам мультиагентных систем, которым требуется быстрая и эффективная классификация запросов на лету.
Ключевые особенности
- 322М параметров: компактный классификатор на базе mmBERT-base с десятью специализированными головами принятия решений.
- Десять вопросов за проход: определяет тип задачи, сложность, нужные инструменты (веб-поиск, чтение документов и др.), модальность и исполнителя.
- Синтетическое обучение: обучена на датасете pugport-routing-synthetic-v1 с использованием мягкой перекрестной энтропии.
- Фреймворк Laya: полная совместимость с библиотекой Laya для удобной загрузки и запуска сервиса.
Что можно сделать
- Развернуть локальный микросервис: запустить REST API на базе предоставленного скрипта для классификации запросов.
- Маршрутизировать задачи: распределять входящие запросы пользователей между агентами в мультиагентных системах.
- Настроить интеграцию: использовать OpenAPI-описание для подключения маршрутизатора к существующим десктопным приложениям.
Пример
git clone [https://github.com/Waytrine/task-router.git](https://github.com/Waytrine/task-router.git) && cd task-router
python -m pip install -r service/requirements.txt
python -c "from huggingface_hub import snapshot_download as d; d('Waytrine/task-router', local_dir='models/task-router-v4')"
TASK_ROUTER_CHECKPOINT=models/task-router-v4 TASK_ROUTER_DEVICE=cpu python service/app.pyПодробнее
Архитектура: Laya на энкодере jhu-clsp/mmBERT-base (22 слоя, размер скрытого слоя 768)Параметры: 321 908 998, сохранено в FP16
Точность: 72.0% на 30 закрытых реальных запросах
Ограничения: малая выборка для реального тестирования, разрыв между синтетическими и реальными данными










Комментарии