К содержимому

Датасет · Helsinki-NLP

Параллельный корпус документов ООН на 6 языках

Helsinki-NLP/multiun

Огромный многоязычный корпус переводов официальных документов ООН для обучения систем машинного перевода.

Что внутри

Внутри собраны параллельные тексты на шести языках: русском, английском, немецком, испанском, французском и арабском. Объём данных составляет от 100 миллионов до 1 миллиарда примеров. Материалы взяты с сайта ООН за период с 2000 по 2009 год, очищены и переведены в формат XML специалистами немецкого центра DFKI.

Что можно сделать

  • Обучение и дообучение моделей машинного перевода (включая пары с русским языком)
  • Выравнивание многоязычных эмбеддингов и кросс-языковой поиск
  • Тестирование качества перевода на официальной и юридической лексике
Задачи
Перевод
Языки
Арабский, Немецкий, Английский, Испанский, Французский, Русский, Китайский
Размер
100M–1B записей
Скачиваний за месяц
5,7 тыс.
Лайков
15

Как загрузить

from datasets import load_dataset

ds = load_dataset("Helsinki-NLP/multiun")