Датасет · PatronusAI
Бенчмарк для поиска галлюцинаций в ответах моделей
PatronusAI/HaluBench
15 тысяч размеченных троек «контекст — вопрос — ответ» на английском для проверки языковых моделей на склонность к выдумыванию фактов.
Что внутри
Датасет состоит из 15 000 текстовых примеров на английском языке в формате «контекст — вопрос — ответ», где для каждого случая указано, содержит ли ответ галлюцинацию. Примеры собраны из существующих QA-датасетов и охватывают реальные домены, включая финансы и медицину.
Что можно сделать
- Оценка и сравнение LLM на устойчивость к галлюцинациям в критически важных сферах
- Обучение моделей-детекторов для фильтрации недостоверных ответов в RAG-системах
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 1,2 тыс.
- Лайков
- 46
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("PatronusAI/HaluBench")