К содержимому

Датасет · google-research-datasets

Бенчмарк открытых вопросов и ответов NQ-Open

google-research-datasets/nq_open

Классический англоязычный бенчмарк для проверки способности моделей отвечать на фактические вопросы без опоры на переданный текст.

Что внутри

Датасет создан на основе Natural Questions и содержит от 10 до 100 тысяч пар из вопроса и правильного ответа на английском языке. Все ответы можно найти в англоязычной Википедии, но при тестировании модель должна отвечать самостоятельно (задача Open-Domain QA).

Что можно сделать

  • Оценка фактических знаний и уровня галлюцинаций языковых моделей
  • Обучение и тестирование RAG-систем с поиском по Википедии
Задачи
Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
34,1 тыс.
Лайков
38

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("google-research-datasets/nq_open")