Датасет · truthfulqa
TruthfulQA: бенчмарк правдивости LLM
truthfulqa/truthful_qa
817 вопросов в 38 категориях для проверки того, насколько модель говорит правду.
Что внутри
TruthfulQA — бенчмарк, который измеряет, насколько правдиво языковая модель отвечает на вопросы. Включает 817 вопросов из 38 категорий, среди них здоровье, право, финансы и политика. Вопросы составлены так, чтобы люди могли ошибаться из-за ложных убеждений; модель должна не повторять выученные заблуждения.
Что можно сделать
- Оценка truthfulness языковых моделей
- Тестирование QA-моделей
- Сравнение моделей на бенчмарке
- Задачи
- multiple choice, Генерация текста, Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 127,5 тыс.
- Лайков
- 301
Модели, обученные на нём
- mradermacher/bobcat-flash-1.2-GGUF 1,1 тыс.
- mradermacher/Safe4Qwen-1.7B-i1-GGUF 926
- katanemo/Arch-GuardКлассификация текста 403
- pockettravel/qwen3.5-2b-travel-en-GGUFГенерация текста 329
- pockettravel/qwen3.5-0.8b-travel-en-GGUFГенерация текста 292
- pockettravel/qwen3.5-4b-travel-en-GGUFГенерация текста 184
- mradermacher/Safe4Qwen-1.7B-GGUF 175
- sanghwa-na/bobcat-flash-1.2Zero-shot классификация 111
Как загрузить
from datasets import load_dataset
ds = load_dataset("truthfulqa/truthful_qa")