Датасет · Helsinki-NLP
Многоязычный перевод корпуса Nemotron-CC на 36 языков
Helsinki-NLP/nemotron-cc-translated
Огромный параллельный корпус на 2,4 триллиона токенов, переведённый с английского на 36 языков.
Что внутри
Масштабный текстовый корпус от Helsinki-NLP, полученный машинным переводом качественной части английского датасета Nemotron-CC с помощью моделей OPUS-MT и HPLT-MT. В версии 1.0 содержится более 156 миллионов документов (свыше 70 млрд исходных английских токенов), выровненных между 36 языками, включая боснийский, болгарский, каталанский, чешский, датский и немецкий. Общий объём составляет более 2,4 триллиона токенов.
Что можно сделать
- Обучение систем машинного перевода на 36 языковых направлений
- Предобучение многоязычных больших языковых моделей (LLM)
- Задачи
- Перевод, Генерация текста
- Языки
- bos, bul, cat, ces, dan, deu, ell, eng и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 139,5 тыс.
- Лайков
- 14
Как загрузить
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/nemotron-cc-translated")