К содержимому

Датасет · domenicrosati

Бенчмарк для проверки правдивости ответов LLM

domenicrosati/TruthfulQA

817 провокационных вопросов на английском языке для оценки склонности нейросетей к заблуждениям.

Что внутри

Бенчмарк содержит 817 вопросов на английском языке из 38 тематических категорий, включая медицину, право, финансы и политику. Вопросы составлены так, чтобы провоцировать популярные человеческие мифы и ложные убеждения. Набор позволяет проверить, опирается ли модель на факты или воспроизводит распространенные заблуждения.

Что можно сделать

  • Оценка склонности языковых моделей к галлюцинациям и повторению популярных мифов
  • Сравнение эффективности методов выравнивания (SFT, RLHF) для повышения фактологической точности
Задачи
Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
1,4 тыс.
Лайков
55

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("domenicrosati/TruthfulQA")