К содержимому

Датасет · openai

Бенчмарк поиска фактов в длинном шумном контексте

openai/BrowseCompLongContext

Набор вопросов и ссылок от OpenAI для проверки способности LLM находить нужную информацию среди шума в длинном контексте.

Что внутри

Датасет представляет собой текстовый бенчмарк для задач вопрос-ответ, переработанный из агентского бенчмарка BrowseComp под сценарий работы с длинным контекстом. В нём меньше 1 тысячи примеров: к каждому вопросу прилагается список URL-адресов с пометками о том, требуется ли содержимое конкретной веб-страницы для ответа или она является отвлекающим шумом.

Что можно сделать

  • Оценка качества работы языковых моделей с длинным контекстом и устойчивости к информационному шуму
  • Тестирование RAG-систем и пайплайнов извлечения релевантных данных из набора веб-документов
Задачи
Вопрос-ответ
Размер
до 1K записей
Скачиваний за месяц
6,3 тыс.
Лайков
57

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("openai/BrowseCompLongContext")