Датасет · basicv8vc
Бенчмарк SimpleQA для проверки фактологической точности
basicv8vc/SimpleQA
Набор коротких фактологических вопросов на английском языке от OpenAI для оценки честности LLM.
Что внутри
Датасет представляет собой текстовый бенчмарк объёмом от 1 до 10 тысяч коротких вопросов, требующих точного фактологического ответа на английском языке. Материалы взяты из репозитория openai/simple-evals и предназначены для измерения способности больших языковых моделей давать краткие и достоверные ответы.
Что можно сделать
- Измерение уровня галлюцинаций и фактологической точности LLM
- Сравнение моделей по умению отвечать на короткие справочные запросы
- Оценка качества систем с поиском по базам знаний (RAG)
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 4,8 тыс.
- Лайков
- 34
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("basicv8vc/SimpleQA")