К содержимому

Датасет · google-research-datasets

Многоязычные пары предложений для поиска перефразировок

google-research-datasets/paws-x

Более 320 тысяч пар предложений на шести языках для проверки и обучения моделей пониманию смысла.

Что внутри

Датасет от Google Research содержит текстовые пары для определения перефразировок на немецком, испанском, французском, китайском, японском и корейском языках (в метаданных также указан английский). Внутри 23 659 проверочных пар, переведенных людьми, и 296 406 обучающих пар с машинным переводом из корпуса PAWS-Wiki. Набор относится к категории состязательных данных, где предложения похожи по словам, но могут отличаться по смыслу.

Что можно сделать

  • Обучение классификаторов для точного определения семантической близости и перефразировок
  • Кросс-языковая оценка устойчивости языковых моделей к сложным лексическим ловушкам
  • Дообучение мультиязычных эмбеддингов для систем поиска и дедупликации текстов
Задачи
Классификация текста
Языки
Немецкий, Английский, Испанский, Французский, Японский, Корейский, Китайский
Размер
100K–1M записей
Скачиваний за месяц
7,5 тыс.
Лайков
54

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("google-research-datasets/paws-x")