К содержимому

Датасет · wmt

Классический многоязычный корпус для машинного перевода WMT14

wmt/wmt14

Большой параллельный корпус текстов на шести языках, включая русский, для обучения систем перевода.

Что внутри

Набор содержит от 10 до 100 миллионов текстовых примеров на английском, русском, немецком, французском, чешском и хинди, собранных для соревнования WMT 2014 года. В карточке есть важное предупреждение: часть данных из Common Crawl содержит невыровненные предложения и вкрапления английского в иноязычных файлах.

Что можно сделать

  • Обучение и сравнение моделей машинного перевода (в том числе для языковой пары EN-RU)
  • Отработка алгоритмов очистки и фильтрации зашумленных параллельных корпусов
Задачи
Перевод
Языки
cs, Немецкий, Английский, Французский, Хинди, Русский
Размер
10M–100M записей
Скачиваний за месяц
9,8 тыс.
Лайков
39

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("wmt/wmt14")