К содержимому

Датасет · jhu-clsp

Параллельный корпус для перевода на креольские языки

jhu-clsp/kreyol-mt

Текстовый датасет объёмом от 1 до 10 млн строк для машинного перевода малоресурсных креольских языков.

Что внутри

Репозиторий от исследователей Университета Джонса Хопкинса (JHU CLSP) содержит параллельные текстовые пары для машинного перевода с участием креольских языков (включая acf, aoa, bah, bzj, bzk, cri и другие). Общий размер представленных данных составляет от 1 до 10 млн записей. Авторы отмечают, что публикация пока неполная, так как ожидается релиз оставшейся части от консорциума LDC.

Что можно сделать

  • Обучение моделей машинного перевода для малоресурсных языков
  • Дообучение мультиязычных LLM пониманию креольских диалектов
  • Исследование кросс-лингвального переноса знаний в NLP
Задачи
Перевод
Языки
acf, aoa, bah, bzj, bzk, cri, crs, dcr и ещё 4
Размер
1M–10M записей
Скачиваний за месяц
1,3 тыс.
Лайков
14

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("jhu-clsp/kreyol-mt")