К содержимому

Датасет · ibm-research

Бенчмарк конфликтов знаний для LLM

ibm-research/Wikipedia_contradict_benchmark

Набор из 253 экспертных примеров для оценки LLM в условиях конфликта реальных знаний в тексте.

Что внутри

Включает 253 высококачественных экземпляра с ручной разметкой на английском языке. Создан для проверки производительности больших языковых моделей при поиске и интеграции данных из фрагментов с реальными противоречиями.

Что можно сделать

  • Оценка устойчивости LLM к противоречивым данным в RAG-системах
  • Тестирование галлюцинаций и обработки конфликтов знаний
Задачи
Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
2,4 тыс.
Лайков
30

Как загрузить

from datasets import load_dataset

ds = load_dataset("ibm-research/Wikipedia_contradict_benchmark")