Датасет · google-research-datasets
Вопросы пользователей по статьям Wikipedia
google-research-datasets/natural_questions
Англоязычный QA-бенчмарк: реальные вопросы, для ответа нужно прочитать статью Wikipedia.
Что внутри
Корпус вопросов от реальных пользователей на английском языке. Чтобы ответить, QA-система должна прочитать всю статью Wikipedia, которая может и не содержать ответ. Это делает задачу реалистичнее и сложнее многих прежних QA-датасетов. Объём — от 10 тыс. до 100 тыс. примеров; модальность — текст.
Что можно сделать
- Оценить QA-систему на реальных вопросах
- Проверить retrieval-пайплайн для RAG
- Дообучить модель отвечать по полным статьям Wikipedia
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 40,4 тыс.
- Лайков
- 133
Модели, обученные на нём
- vllm-sr/Vela-2.0-0.8BZero-shot классификация 1,9 тыс.
- vllm-sr/Vela-2.0-4BZero-shot классификация 366
- vllm-sr/Vela-2.0-9BZero-shot классификация 364
- parsecai/ragzillaКлассификация текста 43
- seamon67/Vela-2.0-Omni-4BZero-shot классификация 25
- AnjanSB/Qwen2.5-3B-Instruct-NQ-RAG-DPO-LoRAГенерация текста 15
- syedkhalid0/flan-t5-small-fidГенерация текста 14
- vsearch/svdr-nq 8
Как загрузить
from datasets import load_dataset
ds = load_dataset("google-research-datasets/natural_questions")