Датасет · jhu-clsp
Параллельный корпус для перевода на креольские языки
jhu-clsp/kreyol-mt
Текстовый датасет объёмом от 1 до 10 млн строк для машинного перевода малоресурсных креольских языков.
Что внутри
Репозиторий от исследователей Университета Джонса Хопкинса (JHU CLSP) содержит параллельные текстовые пары для машинного перевода с участием креольских языков (включая acf, aoa, bah, bzj, bzk, cri и другие). Общий размер представленных данных составляет от 1 до 10 млн записей. Авторы отмечают, что публикация пока неполная, так как ожидается релиз оставшейся части от консорциума LDC.
Что можно сделать
- Обучение моделей машинного перевода для малоресурсных языков
- Дообучение мультиязычных LLM пониманию креольских диалектов
- Исследование кросс-лингвального переноса знаний в NLP
- Задачи
- Перевод
- Языки
- acf, aoa, bah, bzj, bzk, cri, crs, dcr и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,3 тыс.
- Лайков
- 14
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("jhu-clsp/kreyol-mt")