Датасет · adyen
Бенчмарк многошаговых рассуждений для ИИ-агентов анализа данных
adyen/DABstep
Крупный текстовый бенчмарк DABstep от Adyen для оценки ИИ-агентов в задачах многошаговых рассуждений.
Что внутри
Датасет содержит от 1 до 10 миллионов текстовых записей и разделен на три сплита: tasks, submissions и task_scores. Он создан компанией Adyen для поддержки одноименного бенчмарка и лидерборда Data Agent Benchmark for Multi-step Reasoning. Для запуска и проверки моделей используется сплит tasks, а остальные два служат для работы таблицы лидеров.
Что можно сделать
- Тестирование и сравнение ИИ-агентов для анализа данных на многошаговых задачах
- Валидация пайплайнов рассуждений (reasoning) перед отправкой решений в лидерборд DABstep
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 155,6 тыс.
- Лайков
- 61
Как загрузить
from datasets import load_dataset
ds = load_dataset("adyen/DABstep")