К содержимому

Датасет · facebook

Бенчмарк от Meta для проверки модели психического у LLM

facebook/ExploreToM

Синтетический датасет от Facebook для оценки и обучения способности LLM понимать чужие убеждения (Theory of Mind).

Что внутри

Набор данных содержит от 10 до 100 тысяч примеров на английском языке в текстовом и табличном форматах. Сценарии сгенерированы программно с помощью алгоритма поиска A* поверх предметно-ориентированного языка для создания сложных сюжетных структур. Датасет разработан для стресс-тестирования и обучения языковых моделей пониманию контекста и ментальных состояний.

Что можно сделать

  • Оценка способности LLM решать сложные задачи на Theory of Mind
  • Дообучение моделей рассуждениям в многошаговых социальных сценариях
Задачи
Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
847
Лайков
49

Как загрузить

from datasets import load_dataset

ds = load_dataset("facebook/ExploreToM")