Датасет · ybisk
PIQA: физический здравый смысл
ybisk/piqa
Бенчмарк на физический здравый смысл: вопросы с двумя вариантами ответа на английском.
Что внутри
PIQA — набор вопросов на английском для проверки физического здравого смысла. Каждый пример — вопрос и два варианта решения, из которых нужно выбрать правильный. Вопросы вдохновлены instructables.com и очищены алгоритмом AFLite; размер — от 10 тыс. до 100 тыс. примеров.
Что можно сделать
- Для оценки NLU-моделей на физическом здравом смысле
- Для файнтюнинга QA-модели на множественном выборе
- Для сравнения результатов с бенчмарком PIQA
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 108,1 тыс.
- Лайков
- 114
Модели, обученные на нём
- xaskasdf/brandon-tiny-10m-instructГенерация текста 76
- davemaxuellkr/Global-Innovation-Build-Challenge-V2Генерация текста 36
- RoeiG/Laya-Hebrew-V2.1Zero-shot классификация 36
- Naturemort/Gemma-3-270m-it-GroomAttentionГенерация текста 30
- wahnfried/Alberich-mini-v1multiple choice 10
- RoeiG/Laya-Hebrew-V2Zero-shot классификация 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("ybisk/piqa")