Датасет · MoritzLaurer
Мультиязычный корпус NLI на 26 языках (2,73 млн пар)
MoritzLaurer/multilingual-NLI-26lang-2mil7
Огромный набор из 2,73 миллиона текстовых пар на 26 языках для обучения моделей логического вывода и zero-shot классификации.
Что внутри
Датасет содержит 2 730 000 пар текстов для задачи Natural Language Inference (NLI) на 26 языках (включая китайский, японский, арабский, корейский, немецкий и другие). Набор создан с помощью открытых моделей машинного перевода на базе известных англоязычных корпусов MultiNLI, Fever-NLI, ANLI, LingNLI и WANLI.
Что можно сделать
- Обучение мультиязычных моделей для определения логического следования (NLI)
- Тренировка классификаторов текста в режиме zero-shot для 26 языков
- Оценка качества кросс-языкового понимания естественного языка
- Задачи
- Классификация текста
- Языки
- Много языков, Китайский, Японский, Арабский, Корейский, Немецкий, Французский, Испанский и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,7 тыс.
- Лайков
- 52
Модели, обученные на нём
- MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7Zero-shot классификация 714,4 тыс.
- pkshatech/GLuCoSE-base-jaПохожесть текстов 31,8 тыс.
- alexandrainst/scandi-nli-largeZero-shot классификация 3,3 тыс.
- onnx-community/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7-ONNXZero-shot классификация 1,1 тыс.
- sileod/mdeberta-v3-base-tasksource-nliZero-shot классификация 262
- BalaRajesh1/mmbert-small-nliКлассификация текста 189
- ilos-vigil/bigbird-small-indonesian-nliZero-shot классификация 182
- iara-project/e5-large-matryoshka-sts-ptПохожесть текстов 124
Как загрузить
from datasets import load_dataset
ds = load_dataset("MoritzLaurer/multilingual-NLI-26lang-2mil7")