Датасет · nvidia
Специализированные данные для предобучения Nemotron
nvidia/Nemotron-Pretraining-Specialized-v1
Обновлённый корпус для Nemotron 3: математика, код, английский веб и синтетика.
Что внутри
Расширение ранее выпущенных pretraining-датасетов Nemotron: более свежие, качественные и разнообразные данные по математике, коду, английскому Common Crawl и крупным синтетическим корпусам. Набор создан для семейства NVIDIA Nemotron 3 LLM. В карточке упомянуты новый извлекаемый код из Common Crawl и 2,5 трлн новых английских веб-данных; метаданные указывают размер 10–100 млн единиц.
Что можно сделать
- Предобучение или дообучение LLM в стиле Nemotron 3
- Донастройка моделей на математике и коде
- Эксперименты со смешиванием веб- и синтетических данных
- Задачи
- Генерация текста
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 6,7 тыс.
- Лайков
- 90
Модели, обученные на нём
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16Генерация текста 1,5 млн
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4Генерация текста 622,9 тыс.
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8Генерация текста 127,2 тыс.
- unsloth/Nemotron-3-Nano-30B-A3B-GGUFГенерация текста 39,4 тыс.
- lmstudio-community/NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-4bit
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Pretraining-Specialized-v1")