К содержимому

Датасет · wmt

Параллельный корпус для англо-немецкого перевода WMT

wmt/wmt_t2t

Классический корпус из миллионов пар предложений на английском и немецком языках для задач машинного перевода.

Что внутри

Текстовый датасет объемом от 1 до 10 миллионов записей, подготовленный для библиотеки Tensor2Tensor на основе данных с портала statmt.org. Содержит параллельные тексты на английском и немецком языках за разные годы из нескольких источников. Также позволяет собирать кастомные наборы данных для других языковых пар WMT.

Что можно сделать

  • Обучение и дообучение моделей машинного перевода (англо-немецкая пара)
  • Оценка качества систем перевода на стандартных данных WMT
  • Предобучение двуязычных языковых моделей
Задачи
Перевод
Языки
Немецкий, Английский
Размер
1M–10M записей
Скачиваний за месяц
22,8 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("wmt/wmt_t2t")