Датасет · Helsinki-NLP
Переводы киносубтитров на 62 языках
Helsinki-NLP/open_subtitles
Выровненные параллельные субтитры с OpenSubtitles: 1 782 языковые пары и 22,1 млрд токенов для перевода.
Что внутри
Коллекция переведённых киносубтитров с opensubtitles.org: 62 языка, 1 782 битекста, 3 735 070 файлов, 22,10 млрд токенов и 3,35 млрд фрагментов предложений. Это более чистая версия корпуса с улучшенным выравниванием предложений и проверкой языков; при использовании просят ссылаться на opensubtitles.org.
Что можно сделать
- Обучение моделей машинного перевода
- Оценка перевода на параллельных субтитрах
- Создание мультиязычной системы перевода субтитров
- Задачи
- Перевод
- Языки
- af, Арабский, bg, bn, br, bs, ca, cs и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 538
- Лайков
- 77
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/open_subtitles")