К содержимому

Датасет · zjunlp

Бенчмарк многошагового анализа данных ИИ-агентами

zjunlp/LongDS

Мультимодальный бенчмарк LongDS-Bench (до 1000 примеров) для проверки, как агенты удерживают контекст в длинных сессиях анализа данных.

Что внутри

Набор данных для бенчмарка LongDS-Bench от команды ZJUNLP, содержащий менее 1000 примеров на английском языке в текстовом и графическом форматах. Задания имитируют реальную многошаговую аналитику данных, где по ходу диалога меняются фильтры, определения метрик, допущения и промежуточные таблицы. Формат хранения данных в описании не уточняется.

Что можно сделать

  • Проверка способности ИИ-агентов удерживать сложный контекст и ветвления в длинных аналитических сессиях
  • Сравнение мультимодальных LLM в задачах последовательного анализа таблиц и графиков
Задачи
Вопрос-ответ, Генерация текста
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
2,5 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("zjunlp/LongDS")