Датасет · facebook
Бенчмарк от Meta для проверки модели психического у LLM
facebook/ExploreToM
Синтетический датасет от Facebook для оценки и обучения способности LLM понимать чужие убеждения (Theory of Mind).
Что внутри
Набор данных содержит от 10 до 100 тысяч примеров на английском языке в текстовом и табличном форматах. Сценарии сгенерированы программно с помощью алгоритма поиска A* поверх предметно-ориентированного языка для создания сложных сюжетных структур. Датасет разработан для стресс-тестирования и обучения языковых моделей пониманию контекста и ментальных состояний.
Что можно сделать
- Оценка способности LLM решать сложные задачи на Theory of Mind
- Дообучение моделей рассуждениям в многошаговых социальных сценариях
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 847
- Лайков
- 49
Как загрузить
from datasets import load_dataset
ds = load_dataset("facebook/ExploreToM")