Датасет · Helsinki-NLP
Параллельный корпус протоколов Европарламента
Helsinki-NLP/europarl
Огромный многоязычный корпус переводов выступлений Европейского парламента для машинного перевода.
Что внутри
Параллельный текстовый корпус объемом от 100 миллионов до 1 миллиарда строк, собранный с сайта Европейского парламента Филиппом Кёном из Эдинбургского университета. Данные представлены на европейских языках, включая английский, немецкий, болгарский, чешский, датский и греческий.
Что можно сделать
- Обучение и оценка моделей машинного перевода между европейскими языками
- Построение кросс-языковых векторных представлений слов (CWLE)
- Задачи
- Перевод
- Языки
- bg, cs, da, Немецкий, el, Английский, Испанский, et и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 7 тыс.
- Лайков
- 41
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/europarl")