К содержимому

Датасет · ZomiLearner

Параллельный корпус на 1,78 млн фраз: английский и зоми

ZomiLearner/English-Zomi-OPUS_Tatoeba_v20230412

Открытый двуязычный датасет из 1,78 миллиона пар предложений для редкого языка зоми (тедим-чин) и английского.

Что внутри

Табличный и текстовый корпус на 1,78 миллиона параллельных предложений на английском языке и языке зоми (тедим-чин). Собран из открытых источников (судя по названию, OPUS и Tatoeba) и распространяется под свободной лицензией, разрешающей коммерческое и некоммерческое использование.

Что можно сделать

  • Обучение систем машинного перевода для малоресурсного языка зоми
  • Лингвистические исследования и разработка NLP-инструментов для языка тедим-чин
  • Дообучение мультиязычных LLM на редких языковых парах
Задачи
Перевод
Языки
Английский, ctd
Размер
1M–10M записей
Скачиваний за месяц
19,9 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("ZomiLearner/English-Zomi-OPUS_Tatoeba_v20230412")