К содержимому

Датасет · Helsinki-NLP

Многоязычный перевод корпуса Nemotron-CC на 36 языков

Helsinki-NLP/nemotron-cc-translated

Огромный параллельный корпус на 2,4 триллиона токенов, переведённый с английского на 36 языков.

Что внутри

Масштабный текстовый корпус от Helsinki-NLP, полученный машинным переводом качественной части английского датасета Nemotron-CC с помощью моделей OPUS-MT и HPLT-MT. В версии 1.0 содержится более 156 миллионов документов (свыше 70 млрд исходных английских токенов), выровненных между 36 языками, включая боснийский, болгарский, каталанский, чешский, датский и немецкий. Общий объём составляет более 2,4 триллиона токенов.

Что можно сделать

  • Обучение систем машинного перевода на 36 языковых направлений
  • Предобучение многоязычных больших языковых моделей (LLM)
Задачи
Перевод, Генерация текста
Языки
bos, bul, cat, ces, dan, deu, ell, eng и ещё 4
Размер
1B–10B записей
Скачиваний за месяц
139,5 тыс.
Лайков
14

Как загрузить

from datasets import load_dataset

ds = load_dataset("Helsinki-NLP/nemotron-cc-translated")