К содержимому

Датасет · google

Бенчмарк коротких фактических вопросов от Google

google/simpleqa-verified

1 000 проверенных запросов на английском языке от Google DeepMind для точной оценки фактических знаний LLM.

Что внутри

Набор данных включает 1 000 промптов на английском языке, разработанных исследователями из Google DeepMind и Google Research. Датасет создан специально для надежной оценки параметрических знаний языковых моделей и их способности давать короткие, фактически точные ответы на прямые вопросы.

Что можно сделать

  • Проверка фактической точности и эрудиции языковых моделей
  • Бенчмаркинг LLM на склонность выдумывать ответы при прямых вопросах
Задачи
Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
9,6 тыс.
Лайков
56

Как загрузить

from datasets import load_dataset

ds = load_dataset("google/simpleqa-verified")