Датасет · wmt
Классический многоязычный корпус для машинного перевода WMT14
wmt/wmt14
Большой параллельный корпус текстов на шести языках, включая русский, для обучения систем перевода.
Что внутри
Набор содержит от 10 до 100 миллионов текстовых примеров на английском, русском, немецком, французском, чешском и хинди, собранных для соревнования WMT 2014 года. В карточке есть важное предупреждение: часть данных из Common Crawl содержит невыровненные предложения и вкрапления английского в иноязычных файлах.
Что можно сделать
- Обучение и сравнение моделей машинного перевода (в том числе для языковой пары EN-RU)
- Отработка алгоритмов очистки и фильтрации зашумленных параллельных корпусов
- Задачи
- Перевод
- Языки
- cs, Немецкий, Английский, Французский, Хинди, Русский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 9,8 тыс.
- Лайков
- 39
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("wmt/wmt14")