Датасет · perplexity-ai
Бенчмарк для deep research
perplexity-ai/draco
Набор сложных исследовательских задач с экспертными рубриками для оценки deep research систем.
Что внутри
Бенчмарк состоит из сложных открытых исследовательских задач с экспертными рубриками. Задачи охватывают 10 доменов и требуют источников из 40 стран; в среднем около 40 критериев по точности, полноте и объективности. Язык — английский, размер — менее 1 тыс. примеров.
Что можно сделать
- Оценить deep research систему или RAG-агента
- Проверить LLM на точность, полноту и объективность ответов
- Сравнить модели на сложных исследовательских задачах
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 5 тыс.
- Лайков
- 118
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("perplexity-ai/draco")