К содержимому

Датасет · Helsinki-NLP

Параллельный корпус новостных комментариев

Helsinki-NLP/news_commentary

Тексты из коллекции OPUS News-Commentary на шести языках для обучения и оценки моделей машинного перевода.

Что внутри

Внутри находятся параллельные тексты для машинного перевода из набора OPUS News-Commentary. Датасет содержит от 1 до 10 миллионов записей на английском, немецком, французском, испанском, чешском и арабском языках.

Что можно сделать

  • Обучение и дообучение моделей машинного перевода (seq2seq, LLM)
  • Оценка качества перевода между европейскими и арабским языками
Задачи
Перевод
Языки
Арабский, cs, Немецкий, Английский, Испанский, Французский, Итальянский, Японский и ещё 4
Размер
1M–10M записей
Скачиваний за месяц
5,8 тыс.
Лайков
39

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Helsinki-NLP/news_commentary")