К содержимому

Датасет · MoritzLaurer

Мультиязычный корпус NLI на 26 языках (2,73 млн пар)

MoritzLaurer/multilingual-NLI-26lang-2mil7

Огромный набор из 2,73 миллиона текстовых пар на 26 языках для обучения моделей логического вывода и zero-shot классификации.

Что внутри

Датасет содержит 2 730 000 пар текстов для задачи Natural Language Inference (NLI) на 26 языках (включая китайский, японский, арабский, корейский, немецкий и другие). Набор создан с помощью открытых моделей машинного перевода на базе известных англоязычных корпусов MultiNLI, Fever-NLI, ANLI, LingNLI и WANLI.

Что можно сделать

  • Обучение мультиязычных моделей для определения логического следования (NLI)
  • Тренировка классификаторов текста в режиме zero-shot для 26 языков
  • Оценка качества кросс-языкового понимания естественного языка
Задачи
Классификация текста
Языки
Много языков, Китайский, Японский, Арабский, Корейский, Немецкий, Французский, Испанский и ещё 4
Размер
1M–10M записей
Скачиваний за месяц
1,7 тыс.
Лайков
52

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("MoritzLaurer/multilingual-NLI-26lang-2mil7")