К содержимому

Датасет · allenai

Бенчмарк бытового здравого смысла SWAG

allenai/swag

Англоязычный датасет на предсказание логического продолжения бытовых ситуаций для проверки здравого смысла у моделей.

Что внутри

Крупный корпус текстовых данных на английском языке от AllenAI объёмом от 100 тысяч до 1 миллиона примеров. Каждая запись содержит начало описания ситуации и варианты её продолжения, чтобы проверить способность моделей к логическому выводу на основе житейского опыта и физики реального мира.

Что можно сделать

  • Оценка и дообучение языковых моделей на понимание бытового здравого смысла (commonsense reasoning)
  • Тренировка классификаторов для выбора наиболее правдоподобного развития событий
Задачи
Классификация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
23,2 тыс.
Лайков
25

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/swag")