Датасет · lighteval
Бенчмарк физического здравого смысла PIQA
lighteval/piqa
Англоязычный датасет вопросов и ответов (10K–100K примеров) для проверки понимания повседневной физики языковыми моделями.
Что внутри
Популярный бенчмарк Physical Interaction: Question Answering (PIQA) на английском языке содержит от 10 до 100 тысяч текстовых заданий в формате вопросов с выбором ответа. Задачи проверяют понимание базовых физических свойств предметов и бытовых взаимодействий в реальном мире, которые очевидны людям, но сложны для языковых моделей.
Что можно сделать
- Оценка логики и физического здравого смысла (commonsense reasoning) у больших языковых моделей
- Дообучение или SFT моделей для улучшения ответов на бытовые практические вопросы
- Сравнение текстовых моделей на стандартном академическом бенчмарке
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 25,6 тыс.
- Лайков
- 1
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("lighteval/piqa")