К содержимому

Датасет · nvidia

Специализированные синтетические данные от NVIDIA

nvidia/Nemotron-Pretraining-Specialized-v1.1

Крупный корпус синтетических текстов по коду, логике и экономике для предобучения LLM.

Что внутри

Датасет входит в коллекцию данных для предобучения семейства моделей NVIDIA Nemotron 3. Внутри собраны синтетические текстовые данные, охватывающие концепции программирования и алгоритмы, формальную логику, экономику и вопросы с множественным выбором. Объём корпуса составляет от 10 до 100 миллионов записей.

Что можно сделать

  • Предобучение и дообучение языковых моделей для усиления логического мышления
  • Улучшение навыков LLM в алгоритмах, экономике и решении тестовых задач
Задачи
Генерация текста
Размер
10M–100M записей
Скачиваний за месяц
4,8 тыс.
Лайков
45

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nvidia/Nemotron-Pretraining-Specialized-v1.1")