Датасет · zjunlp
Бенчмарк многошагового анализа данных ИИ-агентами
zjunlp/LongDS
Мультимодальный бенчмарк LongDS-Bench (до 1000 примеров) для проверки, как агенты удерживают контекст в длинных сессиях анализа данных.
Что внутри
Набор данных для бенчмарка LongDS-Bench от команды ZJUNLP, содержащий менее 1000 примеров на английском языке в текстовом и графическом форматах. Задания имитируют реальную многошаговую аналитику данных, где по ходу диалога меняются фильтры, определения метрик, допущения и промежуточные таблицы. Формат хранения данных в описании не уточняется.
Что можно сделать
- Проверка способности ИИ-агентов удерживать сложный контекст и ветвления в длинных аналитических сессиях
- Сравнение мультимодальных LLM в задачах последовательного анализа таблиц и графиков
- Задачи
- Вопрос-ответ, Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 2,5 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("zjunlp/LongDS")