К содержимому

Датасет · adyen

Бенчмарк многошаговых рассуждений для ИИ-агентов анализа данных

adyen/DABstep

Крупный текстовый бенчмарк DABstep от Adyen для оценки ИИ-агентов в задачах многошаговых рассуждений.

Что внутри

Датасет содержит от 1 до 10 миллионов текстовых записей и разделен на три сплита: tasks, submissions и task_scores. Он создан компанией Adyen для поддержки одноименного бенчмарка и лидерборда Data Agent Benchmark for Multi-step Reasoning. Для запуска и проверки моделей используется сплит tasks, а остальные два служат для работы таблицы лидеров.

Что можно сделать

  • Тестирование и сравнение ИИ-агентов для анализа данных на многошаговых задачах
  • Валидация пайплайнов рассуждений (reasoning) перед отправкой решений в лидерборд DABstep
Размер
1M–10M записей
Скачиваний за месяц
155,6 тыс.
Лайков
61

Как загрузить

from datasets import load_dataset

ds = load_dataset("adyen/DABstep")