К содержимому

Датасет · allenai

Бенчмарк ответов LLM на вопросы с заблуждениями

allenai/XYBench-dataset

Англоязычный датасет вопросов с ошибочными предпосылками для проверки прагматичности ответов языковых моделей.

Что внутри

Бенчмарк от AllenAI (награда Best Resource Award на EMNLP 2026) проверяет, умеют ли языковые модели корректно отвечать на запросы, содержащие заблуждения пользователей. Внутри собраны тысячи англоязычных вопросов со Stack Overflow (1 557), Stack Exchange (184), WikiHow (6 268) и 102 примера ручной подборки, дополненные эталонными ответами людей.

Что можно сделать

  • Оценка способности LLM мягко исправлять ошибочные предпосылки пользователя
  • SFT-дообучение ассистентов для более прагматичного и точного ведения диалога
  • Тестирование моделей на устойчивость к поддакиванию при неверных вводных
Задачи
Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
998
Лайков
3
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/XYBench-dataset")