Датасет · nvidia
Математический корпус из Common Crawl
nvidia/Nemotron-CC-Math-v1
133 млрд токенов математики и кода из Common Crawl для предобучения LLM.
Что внутри
Nemotron-CC-Math — крупный высококачественный математический корпус, извлечённый из Common Crawl. По карточке, его объём — 133 млрд токенов; данные использовались в предобучении Nemotron и сохраняют ценную математическую и кодовую информацию. В метаданных размер указан как 100M–1B, а в описании статьи — 133 млрд токенов. Модальность — текст.
Что можно сделать
- Предобучение математических LLM
- Дообучение модели решать математику и код
- Оценка качества math pretraining данных
- Задачи
- Генерация текста
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 8,4 тыс.
- Лайков
- 103
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16Генерация текста 1,5 млн
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4Генерация текста 622,9 тыс.
- nvidia/NVIDIA-Nemotron-Nano-9B-v2-FP8Генерация текста 190,3 тыс.
- nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8Генерация текста 127,2 тыс.
- nvidia/NVIDIA-Nemotron-Nano-9B-v2
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-CC-Math-v1")