К содержимому

Датасет · Tevatron

Бенчмарк для оценки систем глубокого поиска (Deep-Research)

Tevatron/browsecomp-plus

Тестовый набор сложных поисковых запросов и фиксированный корпус из 100 тысяч веб-документов для честного сравнения агентов.

Что внутри

Датасет содержит менее 1000 сложных запросов на логический вывод из бенчмарка BrowseComp от OpenAI. Вместо поиска в живом интернете оценка проводится по фиксированному корпусу примерно из 100 тысяч отобранных веб-документов, включающему подтвержденные людьми доказательства. Это позволяет изолировать качество работы ретривера и LLM-агента.

Что можно сделать

  • Сравнение и оценка Deep-Research агентов в воспроизводимых условиях
  • Тестирование ретриверов на сложных многошаговых запросах
  • Отладка пайплайнов поиска и синтеза ответов по большой базе документов
Задачи
Вопрос-ответ
Размер
до 1K записей
Скачиваний за месяц
33,7 тыс.
Лайков
41

Как загрузить

from datasets import load_dataset

ds = load_dataset("Tevatron/browsecomp-plus")