К содержимому

Датасет · nvidia

Синтетический корпус на 22 языках Индии от NVIDIA

nvidia/Nemotron-Pretraining-Indic-CC-v1

Огромный текстовый корпус от 1 до 10 млрд записей на 22 индийских языках для претрейна языковых моделей.

Что внутри

Масштабный синтетический корпус от NVIDIA объёмом от 1 до 10 млрд текстовых записей для претрейна языковых моделей на 22 индийских языках, включая ассамский, бенгальский, бодо, догри, гуджарати и хинди. Для двенадцати приоритетных языков данные представлены как в оригинальной письменности, так и в романизированной латинице, а для десяти менее ресурсных языков — в оригинальной письменности. Датасет является одной из двух частей корпуса Nemotron-Pretraining-Indic.

Что можно сделать

  • Претрейн и продолженное предобучение LLM для поддержки языков Индии
  • Улучшение понимания транслитерированных текстов на латинице для индийских языков
Задачи
Генерация текста
Языки
as, bn, brx, doi, gu, Хинди, kn, gom и ещё 4
Размер
1B–10B записей
Скачиваний за месяц
5,5 тыс.
Лайков
6
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("nvidia/Nemotron-Pretraining-Indic-CC-v1")