Датасет · ibm-research
Бенчмарк VAKRA от IBM для оценки ИИ-агентов с вызовами API
ibm-research/VAKRA
Исполняемый бенчмарк для проверки сложного многошагового рассуждения агентов при работе с API и документами.
Что внутри
Текстовый датасет объемом от 1 000 до 10 000 примеров на английском языке от IBM Research. Он представляет собой многошаговые диалоги и полные траектории выполнения (execution traces), имитирующие корпоративную среду. В отличие от простых тестов, VAKRA проверяет способность ИИ-агентов комбинировать вызовы инструментов (tool-calling) и поиск по документам для сквозного решения задач.
Что можно сделать
- Оценка и сравнение агентных систем в задачах многошагового вызова API и поиска по базам знаний (RAG)
- Анализ траекторий рассуждений и отладка сквозных корпоративных ИИ-помощников
- Задачи
- Вопрос-ответ, Поиск по текстам, Генерация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 6,7 тыс.
- Лайков
- 51
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("ibm-research/VAKRA")