Датасет · ZomiLearner
Параллельный корпус на 1,78 млн фраз: английский и зоми
ZomiLearner/English-Zomi-OPUS_Tatoeba_v20230412
Открытый двуязычный датасет из 1,78 миллиона пар предложений для редкого языка зоми (тедим-чин) и английского.
Что внутри
Табличный и текстовый корпус на 1,78 миллиона параллельных предложений на английском языке и языке зоми (тедим-чин). Собран из открытых источников (судя по названию, OPUS и Tatoeba) и распространяется под свободной лицензией, разрешающей коммерческое и некоммерческое использование.
Что можно сделать
- Обучение систем машинного перевода для малоресурсного языка зоми
- Лингвистические исследования и разработка NLP-инструментов для языка тедим-чин
- Дообучение мультиязычных LLM на редких языковых парах
- Задачи
- Перевод
- Языки
- Английский, ctd
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 19,9 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("ZomiLearner/English-Zomi-OPUS_Tatoeba_v20230412")