anon-R3-skill
поиск и ранжирование навыков для ИИ-агентов
2 мин чтенияобновлено
Набор из двух компактных моделей для подбора релевантных навыков (skills) под пользовательский запрос, представленный в рамках работы «Skill Is Not Document». В состав входят эмбеддер (модель, переводящая текст в векторы для поиска) R3-Embedding и реранкер (модель для точного переранжирования кандидатов) R3-Reranker, созданные на базе Qwen3-Embedding-0.6B и Qwen3-Reranker-0.6B соответственно. В отличие от классического поиска по обычным документам, связка заточена именно под выбор инструментов и умений — в том числе для сложных запросов, требующих сразу нескольких навыков. Пригодится разработчикам мультиагентных систем, тул-юзинга и исследователям в области RAG (поисково-дополненной генерации).
Ключевые особенности
- Двухступенчатая архитектура: быстрый первичный отбор кандидатов из пула через R3-Embedding (0.6B) и точная финальная сортировка топ-20 с помощью R3-Reranker (0.6B).
- Поддержка составных запросов: система оценивает совместимость наборов навыков (метрика Set-Compat) для задач, где одного инструмента недостаточно.
- Готовый пайплайн и датасеты: в репозитории лежат скрипты инференса, воспроизведения бенчмарков и тестовые наборы R3-Skill и SkillRet (6 660 навыков и 4 997 запросов).
- Открытая лицензия: код и данные распространяются под свободной лицензией Apache 2.0.
Что можно сделать
- Ускорить маршрутизацию инструментов в ИИ-агентах: подключать нужные API, плагины или функции из большой базы навыков без перегрузки контекстного окна LLM.
- Встроить в собственный RAG-пайплайн: использовать готовый скрипт
infer.pyдля отбора топ-K инструментов из JSONL-каталога под запросы пользователей. - Провести замеры на бенчмарках: воспроизвести эксперименты на R3-Skill и SkillRet с помощью встроенных скриптов оценки Recall@K и Comp@K.
Пример
git lfs pull
pip install -r requirements.txt
python3 infer.py --query "I need to compose music" --skills example_skills.jsonl --recall_n 6 --top_k 3
Подробнее
Веса моделей хранятся в формате bf16 через Git LFS в папкахmodels/r3-embedding и models/r3-reranker.Оценка проводится по метрикам Recall@K, Comp@K (Completeness@K) и Set-Compat на мульти-скилл запросах.
Из-за особенностей округления в bf16 при совпадении скоров порядок может незначительно колебаться (на десятые доли пункта) в зависимости от железа и версий библиотек.










Комментарии