К содержимому

Датасет · wmt

Параллельные тексты для машинного перевода WMT19

wmt/wmt19

Крупный мультиязычный корпус на шесть языков для обучения систем машинного перевода, содержащий от 100 млн до 1 млрд строк.

Что внутри

Классический датасет соревнования WMT19 включает от 100 миллионов до 1 миллиарда текстовых записей на английском, немецком, французском, финском, чешском и гуджарати. В описании особо отмечается, что часть данных из Common Crawl содержит невыровненные предложения и вкрапления английского текста в неанглоязычных файлах, которые организаторы не планируют исправлять.

Что можно сделать

  • Обучение и бенчмаркинг моделей машинного перевода между европейскими языками и гуджарати
  • Претрейн мультиязычных языковых моделей (при условии дополнительной фильтрации шума)
  • Тестирование алгоритмов очистки и выравнивания параллельных корпусов
Задачи
Перевод
Языки
cs, Немецкий, Английский, fi, Французский, gu, kk, lt и ещё 2
Размер
100M–1B записей
Скачиваний за месяц
7,3 тыс.
Лайков
51

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("wmt/wmt19")