Датасет · allenai
Бенчмарк ответов LLM на вопросы с заблуждениями
allenai/XYBench-dataset
Англоязычный датасет вопросов с ошибочными предпосылками для проверки прагматичности ответов языковых моделей.
Что внутри
Бенчмарк от AllenAI (награда Best Resource Award на EMNLP 2026) проверяет, умеют ли языковые модели корректно отвечать на запросы, содержащие заблуждения пользователей. Внутри собраны тысячи англоязычных вопросов со Stack Overflow (1 557), Stack Exchange (184), WikiHow (6 268) и 102 примера ручной подборки, дополненные эталонными ответами людей.
Что можно сделать
- Оценка способности LLM мягко исправлять ошибочные предпосылки пользователя
- SFT-дообучение ассистентов для более прагматичного и точного ведения диалога
- Тестирование моделей на устойчивость к поддакиванию при неверных вводных
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 998
- Лайков
- 3
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/XYBench-dataset")