Датасет · google
Бенчмарк коротких фактических вопросов от Google
google/simpleqa-verified
1 000 проверенных запросов на английском языке от Google DeepMind для точной оценки фактических знаний LLM.
Что внутри
Набор данных включает 1 000 промптов на английском языке, разработанных исследователями из Google DeepMind и Google Research. Датасет создан специально для надежной оценки параметрических знаний языковых моделей и их способности давать короткие, фактически точные ответы на прямые вопросы.
Что можно сделать
- Проверка фактической точности и эрудиции языковых моделей
- Бенчмаркинг LLM на склонность выдумывать ответы при прямых вопросах
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 9,6 тыс.
- Лайков
- 56
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/simpleqa-verified")