Датасет · MaziyarPanahi
Проверка утверждений и галлюцинаций в RAG
MaziyarPanahi/Jev-RAG-Claim-Verification-130K
130 тысяч примеров проверки ответов на соответствие источникам с разметкой типов галлюцинаций и ошибок.
Что внутри
Датасет содержит 130 000 записей на английском языке, связывающих эталонные метки из источников с предсказаниями модели jev-1.13.0. В табличном и текстовом форматах размечены отдельные утверждения, общая опора ответа на контекст, типы галлюцинаций и дефекты форматирования. Отдельно сохранены 21 181 случай расхождения между моделью-учителем и эталоном.
Что можно сделать
- Обучение классификаторов для детекции галлюцинаций в RAG-системах
- Тестирование и оценка качества моделей-судей (LLM-as-a-Judge)
- Анализ расхождений между эталонными ответами и генерацией модели
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 683
- Лайков
- 43
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("MaziyarPanahi/Jev-RAG-Claim-Verification-130K")