Датасет · openai
Бенчмарк поиска фактов в длинном шумном контексте
openai/BrowseCompLongContext
Набор вопросов и ссылок от OpenAI для проверки способности LLM находить нужную информацию среди шума в длинном контексте.
Что внутри
Датасет представляет собой текстовый бенчмарк для задач вопрос-ответ, переработанный из агентского бенчмарка BrowseComp под сценарий работы с длинным контекстом. В нём меньше 1 тысячи примеров: к каждому вопросу прилагается список URL-адресов с пометками о том, требуется ли содержимое конкретной веб-страницы для ответа или она является отвлекающим шумом.
Что можно сделать
- Оценка качества работы языковых моделей с длинным контекстом и устойчивости к информационному шуму
- Тестирование RAG-систем и пайплайнов извлечения релевантных данных из набора веб-документов
- Задачи
- Вопрос-ответ
- Размер
- до 1K записей
- Скачиваний за месяц
- 6,3 тыс.
- Лайков
- 57
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openai/BrowseCompLongContext")