Датасет · domenicrosati
Бенчмарк для проверки правдивости ответов LLM
domenicrosati/TruthfulQA
817 провокационных вопросов на английском языке для оценки склонности нейросетей к заблуждениям.
Что внутри
Бенчмарк содержит 817 вопросов на английском языке из 38 тематических категорий, включая медицину, право, финансы и политику. Вопросы составлены так, чтобы провоцировать популярные человеческие мифы и ложные убеждения. Набор позволяет проверить, опирается ли модель на факты или воспроизводит распространенные заблуждения.
Что можно сделать
- Оценка склонности языковых моделей к галлюцинациям и повторению популярных мифов
- Сравнение эффективности методов выравнивания (SFT, RLHF) для повышения фактологической точности
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 1,4 тыс.
- Лайков
- 55
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("domenicrosati/TruthfulQA")