Датасет · Helsinki-NLP
Параллельный корпус новостных комментариев
Helsinki-NLP/news_commentary
Тексты из коллекции OPUS News-Commentary на шести языках для обучения и оценки моделей машинного перевода.
Что внутри
Внутри находятся параллельные тексты для машинного перевода из набора OPUS News-Commentary. Датасет содержит от 1 до 10 миллионов записей на английском, немецком, французском, испанском, чешском и арабском языках.
Что можно сделать
- Обучение и дообучение моделей машинного перевода (seq2seq, LLM)
- Оценка качества перевода между европейскими и арабским языками
- Задачи
- Перевод
- Языки
- Арабский, cs, Немецкий, Английский, Испанский, Французский, Итальянский, Японский и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 5,8 тыс.
- Лайков
- 39
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/news_commentary")