Датасет · nvidia
Корпус кода из Common Crawl для предобучения от NVIDIA
nvidia/Nemotron-CC-Code-v1
Обновленный набор текстовых данных с кодом объемом от 100 млн до 1 млрд примеров для предобучения языковых моделей.
Что внутри
Датасет представляет собой часть коллекции Nemotron-Pre-Training-Dataset-v2.1 и содержит от 100 миллионов до 1 миллиарда текстовых примеров. Данные получены путем нового извлечения программного кода из веб-архивов Common Crawl специально для обучения семейства моделей NVIDIA Nemotron 3.
Что можно сделать
- Предобучение больших языковых моделей (LLM) с сильными навыками программирования
- Дообучение существующих текстовых моделей для улучшения генерации и понимания кода
- Задачи
- Генерация текста
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 21,1 тыс.
- Лайков
- 37
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16Генерация текста 1,1 млн
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4Генерация текста 641,7 тыс.
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8Генерация текста 189,4 тыс.
- unsloth/Nemotron-3-Nano-30B-A3B-GGUFГенерация текста 31,7 тыс.
- lmstudio-community/NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-4bitГенерация текста 30,5 тыс.
- lmstudio-community/NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-8bitГенерация текста 27,6 тыс.
- lmstudio-community/NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-6bitГенерация текста 27,2 тыс.
- lmstudio-community/NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-5bitГенерация текста 27 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-CC-Code-v1")