Датасет · nvidia
Nemotron-CC-v2 для претрейна
nvidia/Nemotron-CC-v2
Очень большой многоязычный корпус NVIDIA для претрейна LLM с математикой, кодом и Q&A.
Что внутри
Текстовый датасет для предобучения генеративных моделей: высококачественные математика и код дополнены многоязычными Q&A. Объём — от 1 до 10 млрд единиц по метаданным. Карточка связывает корпус с поддержкой семейства NVIDIA Nemotron Nano 2, включая 9B-v2 и Base.
Что можно сделать
- Предобучение или continued pretraining LLM
- Дообучение Nemotron Nano 2-совместимых моделей
- Проверка влияния многоязычных Q&A на претрейн
- Задачи
- Генерация текста
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 84,4 тыс.
- Лайков
- 155
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16Генерация текста 1,9 млн
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16Генерация текста 1,5 млн
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4Генерация текста 622,9 тыс.
- nvidia/NVIDIA-Nemotron-Nano-9B-v2-FP8Генерация текста 190,3 тыс.
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8Генерация текста 127,2 тыс.
- nvidia/NVIDIA-Nemotron-Nano-9B-v2Генерация текста 105,2 тыс.
- unsloth/Nemotron-3-Nano-30B-A3B-GGUFГенерация текста 39,4 тыс.
- lmstudio-community/NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-4bitГенерация текста 32,2 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-CC-v2")