К содержимому

Датасет · Helsinki-NLP

Параллельный корпус протоколов Европарламента

Helsinki-NLP/europarl

Огромный многоязычный корпус переводов выступлений Европейского парламента для машинного перевода.

Что внутри

Параллельный текстовый корпус объемом от 100 миллионов до 1 миллиарда строк, собранный с сайта Европейского парламента Филиппом Кёном из Эдинбургского университета. Данные представлены на европейских языках, включая английский, немецкий, болгарский, чешский, датский и греческий.

Что можно сделать

  • Обучение и оценка моделей машинного перевода между европейскими языками
  • Построение кросс-языковых векторных представлений слов (CWLE)
Задачи
Перевод
Языки
bg, cs, da, Немецкий, el, Английский, Испанский, et и ещё 4
Размер
100M–1B записей
Скачиваний за месяц
7 тыс.
Лайков
41

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Helsinki-NLP/europarl")