К содержимому

Датасет · google-research-datasets

Сложные пары предложений для поиска парафразов (PAWS)

google-research-datasets/paws

Более 760 тысяч пар английских предложений с похожими словами, но разным смыслом для проверки понимания контекста.

Что внутри

Датасет на английском языке содержит 108 463 пары с ручной разметкой и 656 тысяч пар с автоматической разметкой. Примеры собраны на основе Википедии и базы вопросов Quora с перестановкой слов, чтобы проверить, насколько хорошо модель улавливает структуру предложения и контекст, а не просто совпадение лексики.

Что можно сделать

  • Обучение классификаторов для определения смысловой эквивалентности и дубликатов
  • Тестирование устойчивости текстовых эмбеддингов к перестановке слов
  • Дообучение моделей NLI и семантического поиска на сложных примерах
Задачи
Классификация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
48,8 тыс.
Лайков
54

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("google-research-datasets/paws")