Датасет · gorilla-llm
Бенчмарк вызова функций для LLM
gorilla-llm/Berkeley-Function-Calling-Leaderboard
Живой лидерборд и датасет для проверки, как LLM вызывают функции и инструменты в агентских сценариях.
Что внутри
Набор оценочных данных для проверки способности LLM вызывать функции (tools). Собран на основе опыта авторов, чтобы отражать типичные пользовательские сценарии: агенты, корпоративные workflow и т.п. Покрывает разные категории задач и несколько языков; основной язык — английский. Оценка идёт через публичный лидерборд.
Что можно сделать
- Проверить модель или агентную систему на вызов функций
- Сравнить LLM по tool-calling в лидерборде
- Оценить качество function calling после дообучения
- Языки
- Английский
- Скачиваний за месяц
- 79,1 тыс.
- Лайков
- 142
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("gorilla-llm/Berkeley-Function-Calling-Leaderboard")