К содержимому

Датасет · TAUR-Lab

Бенчмарк многошаговых рассуждений на основе детективов

TAUR-Lab/MuSR

Англоязычные детективные истории для проверки способности LLM к длинным логическим цепочкам.

Что внутри

Текстовый датасет на английском языке (менее 1 000 примеров), представленный как spotlight-доклад на конференции ICLR 2024. Он состоит из сгенерированных с помощью ChatGPT детективных загадок об убийствах. Для решения задач от модели требуются многошаговые логические рассуждения с опорой на здравый смысл.

Что можно сделать

  • Проверка качества Chain-of-Thought (цепочек рассуждений) у языковых моделей
  • Оценка способности LLM удерживать контекст и логику в запутанных сценариях
Задачи
Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
16,1 тыс.
Лайков
28

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("TAUR-Lab/MuSR")