Датасет · nvidia
Синтетический корпус на 22 языках Индии от NVIDIA
nvidia/Nemotron-Pretraining-Indic-CC-v1
Огромный текстовый корпус от 1 до 10 млрд записей на 22 индийских языках для претрейна языковых моделей.
Что внутри
Масштабный синтетический корпус от NVIDIA объёмом от 1 до 10 млрд текстовых записей для претрейна языковых моделей на 22 индийских языках, включая ассамский, бенгальский, бодо, догри, гуджарати и хинди. Для двенадцати приоритетных языков данные представлены как в оригинальной письменности, так и в романизированной латинице, а для десяти менее ресурсных языков — в оригинальной письменности. Датасет является одной из двух частей корпуса Nemotron-Pretraining-Indic.
Что можно сделать
- Претрейн и продолженное предобучение LLM для поддержки языков Индии
- Улучшение понимания транслитерированных текстов на латинице для индийских языков
- Задачи
- Генерация текста
- Языки
- as, bn, brx, doi, gu, Хинди, kn, gom и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 5,5 тыс.
- Лайков
- 6
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Pretraining-Indic-CC-v1")