К содержимому

Датасет · flagship-ai

Параллельный корпус текстов на 60 языках Камеруна

flagship-ai/cameroon_bibles

Выровненные по стихам библейские тексты для машинного перевода малоресурсных языков.

Что внутри

Текстовый корпус из 64 версий перевода Библии на 60 малоресурсных языков Камеруна (в метаданных также указан французский), созданный для проекта Lingo / NativeAI. Все тексты разбиты по главам в отдельные txt-файлы и построчно выровнены по номерам стихов. Общий объём составляет от 100 тысяч до 1 миллиона записей.

Что можно сделать

  • Обучение систем машинного перевода для малоресурсных африканских языков
  • Тренировка мультиязычных эмбеддингов и языковых моделей на параллельных текстах
  • Оценка качества кросс-языкового переноса знаний
Задачи
Перевод
Языки
Французский
Размер
100K–1M записей
Скачиваний за месяц
34,1 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("flagship-ai/cameroon_bibles")