К содержимому

Датасет · nvidia

Корпус претрейна Nemotron-Pretraining-Indic на языках Индии

nvidia/Nemotron-Pretraining-Indic-Specialized-v1

Огромный специализированный текстовый корпус от NVIDIA объёмом от 100 млн до 1 млрд записей на индийских языках для предобучения языковых моделей.

Что внутри

Это специализированная часть корпуса Nemotron-Pretraining-Indic от NVIDIA, включающая от 100 миллионов до 1 миллиарда текстовых и табличных записей. Данные представлены на нескольких языках Индии, включая хинди (hi), бенгальский (bn), гуджарати (gu), ассамский (as), бодо (brx) и догри (doi). В набор отфильтрованы только записи из репозиториев Nemotron-Pretraining-Specialized-v1 и v1.1 без пересечения с веб-выгрузкой CC.

Что можно сделать

  • Предобучение (pretraining) и языковая адаптация LLM для индийских языков
  • Повышение качества генерации текста на специализированных доменах для хинди и бенгальского
  • Создание мультиязычных токенизаторов и базовых моделей от известных авторов (NVIDIA)
Задачи
Генерация текста
Языки
as, bn, brx, doi, gu, Хинди, kn, gom и ещё 4
Размер
100M–1B записей
Скачиваний за месяц
21,3 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("nvidia/Nemotron-Pretraining-Indic-Specialized-v1")