Датасет · nvidia
Код-данные для предобучения Nemotron 3
nvidia/Nemotron-Pretraining-Code-v3
Метаданные код-корпуса NVIDIA для предобучения LLM семейства Nemotron 3.
Что внутри
Часть коллекции Nemotron Pretraining Data, предназначенная для улучшения навыков программирования LLM семейства Nemotron 3. Содержит метаданные, соответствующие обновлению исходного кода в версиях Nemotron-Pretraining-Code-v1 и v2. Язык — код, размер по метаданным 100M–1B, задача text-generation.
Что можно сделать
- Предобучить или дообучить code-LLM
- Проверить код-генерацию Nemotron-подобной модели
- Собрать pretraining mixture для кода
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 1,3 тыс.
- Лайков
- 75
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Pretraining-Code-v3")