К содержимому

Датасет · ibm-research

Бенчмарк VAKRA от IBM для оценки ИИ-агентов с вызовами API

ibm-research/VAKRA

Исполняемый бенчмарк для проверки сложного многошагового рассуждения агентов при работе с API и документами.

Что внутри

Текстовый датасет объемом от 1 000 до 10 000 примеров на английском языке от IBM Research. Он представляет собой многошаговые диалоги и полные траектории выполнения (execution traces), имитирующие корпоративную среду. В отличие от простых тестов, VAKRA проверяет способность ИИ-агентов комбинировать вызовы инструментов (tool-calling) и поиск по документам для сквозного решения задач.

Что можно сделать

  • Оценка и сравнение агентных систем в задачах многошагового вызова API и поиска по базам знаний (RAG)
  • Анализ траекторий рассуждений и отладка сквозных корпоративных ИИ-помощников
Задачи
Вопрос-ответ, Поиск по текстам, Генерация текста
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
6,7 тыс.
Лайков
51

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ibm-research/VAKRA")