Датасет · TAUR-Lab
Бенчмарк многошаговых рассуждений на основе детективов
TAUR-Lab/MuSR
Англоязычные детективные истории для проверки способности LLM к длинным логическим цепочкам.
Что внутри
Текстовый датасет на английском языке (менее 1 000 примеров), представленный как spotlight-доклад на конференции ICLR 2024. Он состоит из сгенерированных с помощью ChatGPT детективных загадок об убийствах. Для решения задач от модели требуются многошаговые логические рассуждения с опорой на здравый смысл.
Что можно сделать
- Проверка качества Chain-of-Thought (цепочек рассуждений) у языковых моделей
- Оценка способности LLM удерживать контекст и логику в запутанных сценариях
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 16,1 тыс.
- Лайков
- 28
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("TAUR-Lab/MuSR")