Датасет · zai-org
Бенчмарк понимания длинных текстов
zai-org/LongBench
20 задач на английском и китайском для проверки LLM на длинном контексте: QA, суммаризация, код.
Что внутри
LongBench — комплексный бенчмарк для многоязычной и многозадачной оценки понимания длинного текста. Включает 20 задач: QA по одному и нескольким документам, суммаризацию, few-shot обучение, синтетические задачи и завершение кода. Языки — английский и китайский, размер — от 1 тыс. до 10 тыс. записей.
Что можно сделать
- Оценить LLM на длинном контексте
- Сравнить модели в QA и суммаризации
- Проверить few-shot и code completion
- Задачи
- Вопрос-ответ, Генерация текста, Суммаризация, Классификация текста
- Языки
- Английский, Китайский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 52,1 тыс.
- Лайков
- 204
Как загрузить
from datasets import load_dataset
ds = load_dataset("zai-org/LongBench")