Датасет · opencompass
Бенчмарк NeedleBench для поиска фактов в длинных текстах
opencompass/NeedleBench
Тестовый набор от OpenCompass объёмом от 1 до 10 тысяч текстовых задач для проверки поиска и рассуждений LLM по большим документам.
Что внутри
Датасет является частью проекта OpenCompass и содержит от 1 до 10 тысяч текстовых примеров для задач вопросно-ответного поиска (question-answering). Он включает серию тестовых сценариев: поиск одной «иголки» в стоге сена (single-needle retrieval), поиск нескольких фактов (multi-needle retrieval) и логические рассуждения на основе нескольких фрагментов. Конкретный язык в метаданных не указан, но описание приведено на английском.
Что можно сделать
- Проверка точности извлечения отдельных фактов из длинного контекста (Needle-in-a-Haystack)
- Оценка способности LLM синтезировать информацию из нескольких мест большого документа
- Сравнение моделей с длинным контекстом в рамках экосистемы OpenCompass
- Задачи
- Вопрос-ответ
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 6,8 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("opencompass/NeedleBench")