Датасет · Helsinki-NLP
Параллельные книги OPUS для перевода
Helsinki-NLP/opus_books
Выровненные книги на нескольких языках для обучения и проверки переводческих моделей.
Что внутри
Это коллекция свободных от копирайта книг, выровненных Андрашем Фаркашем и доступных на farkastranslations.com. Тексты на каталанском, немецком, греческом, английском, эсперанто и испанском; часть проверена вручную, метаданные лежат в XML в начале файлов. Из-за копирайта тексты довольно старые, но источник многоязычно выровнен.
Что можно сделать
- Обучать модель машинного перевода на параллельных книгах
- Дообучать LoRA для перевода между европейскими языками
- Оценивать качество перевода на литературных текстах
- Задачи
- Перевод
- Языки
- ca, Немецкий, el, Английский, eo, Испанский, fi, Французский и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 8,6 тыс.
- Лайков
- 102
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/opus_books")