Датасет · allenai
Бенчмарк бытового здравого смысла SWAG
allenai/swag
Англоязычный датасет на предсказание логического продолжения бытовых ситуаций для проверки здравого смысла у моделей.
Что внутри
Крупный корпус текстовых данных на английском языке от AllenAI объёмом от 100 тысяч до 1 миллиона примеров. Каждая запись содержит начало описания ситуации и варианты её продолжения, чтобы проверить способность моделей к логическому выводу на основе житейского опыта и физики реального мира.
Что можно сделать
- Оценка и дообучение языковых моделей на понимание бытового здравого смысла (commonsense reasoning)
- Тренировка классификаторов для выбора наиболее правдоподобного развития событий
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 23,2 тыс.
- Лайков
- 25
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/swag")