Датасет · google-research-datasets
Многоязычные пары предложений для поиска перефразировок
google-research-datasets/paws-x
Более 320 тысяч пар предложений на шести языках для проверки и обучения моделей пониманию смысла.
Что внутри
Датасет от Google Research содержит текстовые пары для определения перефразировок на немецком, испанском, французском, китайском, японском и корейском языках (в метаданных также указан английский). Внутри 23 659 проверочных пар, переведенных людьми, и 296 406 обучающих пар с машинным переводом из корпуса PAWS-Wiki. Набор относится к категории состязательных данных, где предложения похожи по словам, но могут отличаться по смыслу.
Что можно сделать
- Обучение классификаторов для точного определения семантической близости и перефразировок
- Кросс-языковая оценка устойчивости языковых моделей к сложным лексическим ловушкам
- Дообучение мультиязычных эмбеддингов для систем поиска и дедупликации текстов
- Задачи
- Классификация текста
- Языки
- Немецкий, Английский, Испанский, Французский, Японский, Корейский, Китайский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 7,5 тыс.
- Лайков
- 54
Модели, обученные на нём
- pkshatech/GLuCoSE-base-ja-v2Похожесть текстов 5,8 тыс.
- blackmallangcow/nari-decision-4bЭмбеддинги 441
- pkshatech/RoSEtta-base-jaПохожесть текстов 351
- KeytechSRL/TernaryDecider-v1-Decision-LoRAКлассификация текста 124
- Andrew93110/sn92-gen-v6 82
- Andrew93110/sn92-gen-v5 52
- blackmallangcow/nari-decision-9bЭмбеддинги 47
- Guru0381/krino-2bКлассификация текста 37
Как загрузить
from datasets import load_dataset
ds = load_dataset("google-research-datasets/paws-x")