Датасет · wmt
Параллельный корпус для англо-немецкого перевода WMT
wmt/wmt_t2t
Классический корпус из миллионов пар предложений на английском и немецком языках для задач машинного перевода.
Что внутри
Текстовый датасет объемом от 1 до 10 миллионов записей, подготовленный для библиотеки Tensor2Tensor на основе данных с портала statmt.org. Содержит параллельные тексты на английском и немецком языках за разные годы из нескольких источников. Также позволяет собирать кастомные наборы данных для других языковых пар WMT.
Что можно сделать
- Обучение и дообучение моделей машинного перевода (англо-немецкая пара)
- Оценка качества систем перевода на стандартных данных WMT
- Предобучение двуязычных языковых моделей
- Задачи
- Перевод
- Языки
- Немецкий, Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 22,8 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("wmt/wmt_t2t")