Датасет · zai-org
Бенчмарк LongBench v2 для проверки длинного контекста
zai-org/LongBench-v2
Тестовый набор на английском языке для оценки того, как LLM справляются со сложными задачами в длинном контексте.
Что внутри
В репозитории собраны текстовые задачи на английском языке для глубокого анализа и рассуждений (reasoning) в длинном контексте — от 8k токенов и выше. Датасет включает задания с выбором варианта ответа, классификацию текстов, а также вопросы по текстам и таблицам. Размер набора составляет меньше 1000 примеров, он создан авторами из THUDM.
Что можно сделать
- Тестирование способности LLM удерживать и анализировать длинный контекст
- Сравнение моделей в задачах QA и логического вывода по большим документам и таблицам
- Задачи
- multiple choice, Вопрос-ответ, Классификация текста, Вопросы по таблицам
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 62,2 тыс.
- Лайков
- 65
Как загрузить
from datasets import load_dataset
ds = load_dataset("zai-org/LongBench-v2")