Датасет · Helsinki-NLP
Параллельный корпус документов ООН на 6 языках
Helsinki-NLP/multiun
Огромный многоязычный корпус переводов официальных документов ООН для обучения систем машинного перевода.
Что внутри
Внутри собраны параллельные тексты на шести языках: русском, английском, немецком, испанском, французском и арабском. Объём данных составляет от 100 миллионов до 1 миллиарда примеров. Материалы взяты с сайта ООН за период с 2000 по 2009 год, очищены и переведены в формат XML специалистами немецкого центра DFKI.
Что можно сделать
- Обучение и дообучение моделей машинного перевода (включая пары с русским языком)
- Выравнивание многоязычных эмбеддингов и кросс-языковой поиск
- Тестирование качества перевода на официальной и юридической лексике
- Задачи
- Перевод
- Языки
- Арабский, Немецкий, Английский, Испанский, Французский, Русский, Китайский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 5,7 тыс.
- Лайков
- 15
Как загрузить
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/multiun")