Датасет · wmt
Параллельные тексты для машинного перевода WMT19
wmt/wmt19
Крупный мультиязычный корпус на шесть языков для обучения систем машинного перевода, содержащий от 100 млн до 1 млрд строк.
Что внутри
Классический датасет соревнования WMT19 включает от 100 миллионов до 1 миллиарда текстовых записей на английском, немецком, французском, финском, чешском и гуджарати. В описании особо отмечается, что часть данных из Common Crawl содержит невыровненные предложения и вкрапления английского текста в неанглоязычных файлах, которые организаторы не планируют исправлять.
Что можно сделать
- Обучение и бенчмаркинг моделей машинного перевода между европейскими языками и гуджарати
- Претрейн мультиязычных языковых моделей (при условии дополнительной фильтрации шума)
- Тестирование алгоритмов очистки и выравнивания параллельных корпусов
- Задачи
- Перевод
- Языки
- cs, Немецкий, Английский, fi, Французский, gu, kk, lt и ещё 2
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 7,3 тыс.
- Лайков
- 51
Модели, обученные на нём
- mradermacher/NanoTranslator-immersive_translate-0.5B-GGUF 195
- UNI-PIC/Retail-TW-Nemotron-3-Nano-4B-BaseГенерация текста 29
- UNI-PIC/Retail-TW-Qwen3.5-4B-BaseГенерация текста 24
- UNI-PIC/Retail-TW-Qwen3.5-0.8B-BaseГенерация текста 23
- UNI-PIC/Retail-TW-Qwen3-4B-BaseГенерация текста 21
- Varine/opus-mt-zh-en-modelГенерация текста 14
- Mxode/NanoTranslator-immersive_translate-365MПеревод 14
- Mxode/NanoTranslator-immersive_translate-0.5BПеревод 10
Как загрузить
from datasets import load_dataset
ds = load_dataset("wmt/wmt19")