К содержимому

Датасет · MaziyarPanahi

Проверка утверждений и галлюцинаций в RAG

MaziyarPanahi/Jev-RAG-Claim-Verification-130K

130 тысяч примеров проверки ответов на соответствие источникам с разметкой типов галлюцинаций и ошибок.

Что внутри

Датасет содержит 130 000 записей на английском языке, связывающих эталонные метки из источников с предсказаниями модели jev-1.13.0. В табличном и текстовом форматах размечены отдельные утверждения, общая опора ответа на контекст, типы галлюцинаций и дефекты форматирования. Отдельно сохранены 21 181 случай расхождения между моделью-учителем и эталоном.

Что можно сделать

  • Обучение классификаторов для детекции галлюцинаций в RAG-системах
  • Тестирование и оценка качества моделей-судей (LLM-as-a-Judge)
  • Анализ расхождений между эталонными ответами и генерацией модели
Задачи
Классификация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
683
Лайков
43

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("MaziyarPanahi/Jev-RAG-Claim-Verification-130K")