К содержимому

Датасет · basicv8vc

Бенчмарк SimpleQA для проверки фактологической точности

basicv8vc/SimpleQA

Набор коротких фактологических вопросов на английском языке от OpenAI для оценки честности LLM.

Что внутри

Датасет представляет собой текстовый бенчмарк объёмом от 1 до 10 тысяч коротких вопросов, требующих точного фактологического ответа на английском языке. Материалы взяты из репозитория openai/simple-evals и предназначены для измерения способности больших языковых моделей давать краткие и достоверные ответы.

Что можно сделать

  • Измерение уровня галлюцинаций и фактологической точности LLM
  • Сравнение моделей по умению отвечать на короткие справочные запросы
  • Оценка качества систем с поиском по базам знаний (RAG)
Задачи
Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
4,8 тыс.
Лайков
34

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("basicv8vc/SimpleQA")