Датасет · google-research-datasets
Бенчмарк открытых вопросов и ответов NQ-Open
google-research-datasets/nq_open
Классический англоязычный бенчмарк для проверки способности моделей отвечать на фактические вопросы без опоры на переданный текст.
Что внутри
Датасет создан на основе Natural Questions и содержит от 10 до 100 тысяч пар из вопроса и правильного ответа на английском языке. Все ответы можно найти в англоязычной Википедии, но при тестировании модель должна отвечать самостоятельно (задача Open-Domain QA).
Что можно сделать
- Оценка фактических знаний и уровня галлюцинаций языковых моделей
- Обучение и тестирование RAG-систем с поиском по Википедии
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 34,1 тыс.
- Лайков
- 38
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("google-research-datasets/nq_open")