Датасет · google-research-datasets
Сложные пары предложений для поиска парафразов (PAWS)
google-research-datasets/paws
Более 760 тысяч пар английских предложений с похожими словами, но разным смыслом для проверки понимания контекста.
Что внутри
Датасет на английском языке содержит 108 463 пары с ручной разметкой и 656 тысяч пар с автоматической разметкой. Примеры собраны на основе Википедии и базы вопросов Quora с перестановкой слов, чтобы проверить, насколько хорошо модель улавливает структуру предложения и контекст, а не просто совпадение лексики.
Что можно сделать
- Обучение классификаторов для определения смысловой эквивалентности и дубликатов
- Тестирование устойчивости текстовых эмбеддингов к перестановке слов
- Дообучение моделей NLI и семантического поиска на сложных примерах
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 48,8 тыс.
- Лайков
- 54
Модели, обученные на нём
- StrandsAgents/strands-decider-2B-qwen3.5-v1-2610Классификация текста 25 тыс.
- StrandsAgents/strands-decider-2B-hobson-v21Классификация текста 15,3 тыс.
- StrandsAgents/strands-decider-2B-hobson-v19Классификация текста 7 тыс.
- tasksource/ettin-17m-embedПохожесть текстов 5,6 тыс.
- StrandsAgents/strands-decider-E4B-gemma4-v1-2610Классификация текста 1,4 тыс.
- StrandsAgents/strands-decider-12B-gemma4-v1-2610Классификация текста 1,1 тыс.
- manjunathshiva/opendecider-nanoZero-shot классификация 1,1 тыс.
- mradermacher/elythros-decider-1.7b-GGUFZero-shot классификация 887
Как загрузить
from datasets import load_dataset
ds = load_dataset("google-research-datasets/paws")