Датасет · google
Бенчмарк многошагового поиска информации
google/deepsearchqa
900 промптов для проверки агентов на сложных многошаговых задачах поиска информации в 17 областях.
Что внутри
Набор из 900 промптов на английском для оценки агентов в сложных многошаговых задачах поиска информации. Охватывает 17 разных предметных областей; это бенчмарк фактологичности от Google DeepMind. Есть ссылки на лидерборд Kaggle, технический отчёт и стартовый код оценки.
Что можно сделать
- Оценка поисковых агентов на многошаговых вопросах
- Проверка фактологичности RAG-систем
- Сравнение моделей на бенчмарке DeepSearchQA
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 25,9 тыс.
- Лайков
- 135
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/deepsearchqa")