К содержимому

Датасет · opencompass

Бенчмарк NeedleBench для поиска фактов в длинных текстах

opencompass/NeedleBench

Тестовый набор от OpenCompass объёмом от 1 до 10 тысяч текстовых задач для проверки поиска и рассуждений LLM по большим документам.

Что внутри

Датасет является частью проекта OpenCompass и содержит от 1 до 10 тысяч текстовых примеров для задач вопросно-ответного поиска (question-answering). Он включает серию тестовых сценариев: поиск одной «иголки» в стоге сена (single-needle retrieval), поиск нескольких фактов (multi-needle retrieval) и логические рассуждения на основе нескольких фрагментов. Конкретный язык в метаданных не указан, но описание приведено на английском.

Что можно сделать

  • Проверка точности извлечения отдельных фактов из длинного контекста (Needle-in-a-Haystack)
  • Оценка способности LLM синтезировать информацию из нескольких мест большого документа
  • Сравнение моделей с длинным контекстом в рамках экосистемы OpenCompass
Задачи
Вопрос-ответ
Размер
1K–10K записей
Скачиваний за месяц
6,8 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("opencompass/NeedleBench")