К содержимому

Датасет · PatronusAI

Бенчмарк для поиска галлюцинаций в ответах моделей

PatronusAI/HaluBench

15 тысяч размеченных троек «контекст — вопрос — ответ» на английском для проверки языковых моделей на склонность к выдумыванию фактов.

Что внутри

Датасет состоит из 15 000 текстовых примеров на английском языке в формате «контекст — вопрос — ответ», где для каждого случая указано, содержит ли ответ галлюцинацию. Примеры собраны из существующих QA-датасетов и охватывают реальные домены, включая финансы и медицину.

Что можно сделать

  • Оценка и сравнение LLM на устойчивость к галлюцинациям в критически важных сферах
  • Обучение моделей-детекторов для фильтрации недостоверных ответов в RAG-системах
Задачи
Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
1,2 тыс.
Лайков
46

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("PatronusAI/HaluBench")