К содержимому

Датасет · zai-org

Бенчмарк LongBench v2 для проверки длинного контекста

zai-org/LongBench-v2

Тестовый набор на английском языке для оценки того, как LLM справляются со сложными задачами в длинном контексте.

Что внутри

В репозитории собраны текстовые задачи на английском языке для глубокого анализа и рассуждений (reasoning) в длинном контексте — от 8k токенов и выше. Датасет включает задания с выбором варианта ответа, классификацию текстов, а также вопросы по текстам и таблицам. Размер набора составляет меньше 1000 примеров, он создан авторами из THUDM.

Что можно сделать

  • Тестирование способности LLM удерживать и анализировать длинный контекст
  • Сравнение моделей в задачах QA и логического вывода по большим документам и таблицам
Задачи
multiple choice, Вопрос-ответ, Классификация текста, Вопросы по таблицам
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
62,2 тыс.
Лайков
65

Как загрузить

from datasets import load_dataset

ds = load_dataset("zai-org/LongBench-v2")