К содержимому

Датасет · nvidia

Корпус кода из Common Crawl для предобучения от NVIDIA

nvidia/Nemotron-CC-Code-v1

Обновленный набор текстовых данных с кодом объемом от 100 млн до 1 млрд примеров для предобучения языковых моделей.

Что внутри

Датасет представляет собой часть коллекции Nemotron-Pre-Training-Dataset-v2.1 и содержит от 100 миллионов до 1 миллиарда текстовых примеров. Данные получены путем нового извлечения программного кода из веб-архивов Common Crawl специально для обучения семейства моделей NVIDIA Nemotron 3.

Что можно сделать

  • Предобучение больших языковых моделей (LLM) с сильными навыками программирования
  • Дообучение существующих текстовых моделей для улучшения генерации и понимания кода
Задачи
Генерация текста
Размер
100M–1B записей
Скачиваний за месяц
21,1 тыс.
Лайков
37
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nvidia/Nemotron-CC-Code-v1")