Датасет · ibm-research
Бенчмарк конфликтов знаний для LLM
ibm-research/Wikipedia_contradict_benchmark
Набор из 253 экспертных примеров для оценки LLM в условиях конфликта реальных знаний в тексте.
Что внутри
Включает 253 высококачественных экземпляра с ручной разметкой на английском языке. Создан для проверки производительности больших языковых моделей при поиске и интеграции данных из фрагментов с реальными противоречиями.
Что можно сделать
- Оценка устойчивости LLM к противоречивым данным в RAG-системах
- Тестирование галлюцинаций и обработки конфликтов знаний
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 2,4 тыс.
- Лайков
- 30
Как загрузить
from datasets import load_dataset
ds = load_dataset("ibm-research/Wikipedia_contradict_benchmark")