Датасет · nvidia
Корпус для предобучения кода и математики Nemotron
nvidia/Nemotron-Pretraining-Code-v2
Обновлённый pretraining-корпус NVIDIA с кодом, математикой, английским веб-текстом и синтетикой.
Что внутри
Nemotron-Pre-Training-Dataset-v2.1 расширяет предыдущие pretraining-наборы NVIDIA более качественными и разнообразными данными по математике, коду, английскому Common Crawl и крупным синтетическим корпусам. В карточке упомянуты новое извлечение кода из Common Crawl и 2,5T новых английских веб-данных. Датасет создан для семейства моделей NVIDIA Nemotron 3; объём — от 100 млн до 1 млрд записей.
Что можно сделать
- Предобучить или продолжить предобучение code-LLM
- Дообучить модель на математике и коде
- Проверить качество генерации кода на корпусе NVIDIA
- Задачи
- Генерация текста
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 5,9 тыс.
- Лайков
- 138
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Pretraining-Code-v2")