К содержимому
Датасеты

Llama-Nemotron-Post-Training-Dataset

открытый датасет от NVIDIA для обучения LLM рассуждениям

2 мин чтения

NVIDIA выложила масштабный набор данных для дообучения языковых моделей с помощью SFT (контролируемого тонкого дообучения) и RL (обучения с подкреплением). Именно на этом датасете компания обучала линейку моделей Llama-3.1-Nemotron-Ultra-253B, Super-49B и Nano-8B, чтобы научить их сложным рассуждениям (reasoning), математике, программированию и точному следованию инструкциям. Промпты взяты из открытых источников или сгенерированы синтетически с жёсткой фильтрацией качества, а ответы созданы сильными открытыми моделями вроде DeepSeek-R1 и Qwen-2.5. Набор пригодится разработчикам, которые хотят дообучать собственные LLM, создавать ИИ-агентов или тренировать модели переключаться между обычным режимом и режимом глубоких рассуждений.

Ключевые особенности

  • Огромный объём и покрытие задач: свыше 22 млн примеров по математике, более 10,1 млн по программированию, около 709 тыс. по науке, а также выборки для чата, инструкций и безопасности.
  • Поддержка режимов рассуждения: часть промптов содержит ответы как с включённым, так и с выключенным reasoning-режимом, чтобы модель училась различать эти форматы.
  • Синтетика от топовых моделей: ответы сгенерированы через Qwen-2.5-Math-7B (19,8 млн сэмплов), Qwen-2.5-Coder-32B (8,9 млн), DeepSeek-R1 (3,9 млн), Llama-3.3-70B и Mixtral-8x22B.
  • Удобная фильтрация и разметка лицензий: данные разбиты на категории (math, code, science и др.), а лицензия указана для каждого отдельного примера.

Что можно сделать

  • Дообучить свою LLM или LoRA: прокачать навыки решения математических задач и генерации кода у открытых моделей с помощью SFT или RL.
  • Настроить управляемый reasoning: обучить модель переключаться между быстрыми ответами и пошаговыми рассуждениями в зависимости от запроса.
  • Собрать ИИ-агентов и RAG-системы: использовать сплиты для следования инструкциям и безопасного общения при разработке прикладных ботов и ассистентов.

Пример

from datasets import load_dataset

ds = load_dataset(
    "nvidia/Llama-Nemotron-Post-Training-Dataset",
    "SFT",
    split=["code", "math"]
)
ПодробнееВерсия 1.1 от 08.04.2025 (добавлено 2,2 млн примеров по математике и 500 тыс. по рассуждениям в коде).
Распределение: math — 22 066 397, code — 10 108 883, science — 708 920, instruction following — 56 339, chat — 39 792, safety — 31 426.
Основная лицензия — CC-BY-4.0 (с вкраплениями ODC-BY и CC-BY-SA); при обучении моделей на данных от моделей Llama действуют условия Llama 3.1/3.3 Community License.
Обсудить Telegram 720 10,3 тыс.

О модели

datasets/nvidia/Llama-Nemotron-Post-Training-Dataset
Автор
nvidia
Категория
Датасеты
Дата выхода
На сайте

На сайте

Hugging Face

10,3 тыс.720

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии