Датасет · nvidia
Корпус претрейна Nemotron-Pretraining-Indic на языках Индии
nvidia/Nemotron-Pretraining-Indic-Specialized-v1
Огромный специализированный текстовый корпус от NVIDIA объёмом от 100 млн до 1 млрд записей на индийских языках для предобучения языковых моделей.
Что внутри
Это специализированная часть корпуса Nemotron-Pretraining-Indic от NVIDIA, включающая от 100 миллионов до 1 миллиарда текстовых и табличных записей. Данные представлены на нескольких языках Индии, включая хинди (hi), бенгальский (bn), гуджарати (gu), ассамский (as), бодо (brx) и догри (doi). В набор отфильтрованы только записи из репозиториев Nemotron-Pretraining-Specialized-v1 и v1.1 без пересечения с веб-выгрузкой CC.
Что можно сделать
- Предобучение (pretraining) и языковая адаптация LLM для индийских языков
- Повышение качества генерации текста на специализированных доменах для хинди и бенгальского
- Создание мультиязычных токенизаторов и базовых моделей от известных авторов (NVIDIA)
- Задачи
- Генерация текста
- Языки
- as, bn, brx, doi, gu, Хинди, kn, gom и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 21,3 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Pretraining-Indic-Specialized-v1")