К содержимому

Датасет · lighteval

Бенчмарк физического здравого смысла PIQA

lighteval/piqa

Англоязычный датасет вопросов и ответов (10K–100K примеров) для проверки понимания повседневной физики языковыми моделями.

Что внутри

Популярный бенчмарк Physical Interaction: Question Answering (PIQA) на английском языке содержит от 10 до 100 тысяч текстовых заданий в формате вопросов с выбором ответа. Задачи проверяют понимание базовых физических свойств предметов и бытовых взаимодействий в реальном мире, которые очевидны людям, но сложны для языковых моделей.

Что можно сделать

  • Оценка логики и физического здравого смысла (commonsense reasoning) у больших языковых моделей
  • Дообучение или SFT моделей для улучшения ответов на бытовые практические вопросы
  • Сравнение текстовых моделей на стандартном академическом бенчмарке
Задачи
Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
25,6 тыс.
Лайков
1

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("lighteval/piqa")