Budget-Internalization-Nemotron-3-Nano-4B: оптимизация рассуждений
1 мин чтенияобновлено
Модель представляет собой дообученную версию nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16 от JetBrains-Research, настроенную для решения математических задач с жестким лимитом генерации в 4096 токенов. Она обучена с помощью алгоритма GRPO (метод обучения с подкреплением) на датасете DeepScaleR для эффективного распределения токенов при поиске ответа. Модель создана в рамках исследования по бюджетированию генерации и помогает лучше контролировать длину ответа без потери точности. Она пригодится исследователям и разработчикам, работающим с компактными LLM для математического анализа.
Ключевые особенности
- База:
nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16(около 4 млрд параметров). - Обучение алгоритмом GRPO с нормализацией групповой награды.
- Строгий лимит генерации в 4096 токенов для проверки гипотез о бюджете рассуждений.
- Тренировка на математическом датасете DeepScaleR (до 3 эпох).
Что можно сделать
- Интегрировать модель в пайплайны для автоматического решения математических задач.
- Протестировать поведение компактной LLM при строгом ограничении длины генерации.
- Использовать в исследовательских проектах по изучению механизмов RLVR и скейлинга времени тестирования.
Пример
Используйте следующий промпт для запуска:
Think step-by-step to solve the following problem. Output your answer inside of \boxed{} tags.:
{problem}
Let's think step-by-stepПодробнее
Алгоритм: GRPO (leave-one-out baseline, group reward normalization)Бюджет генерации: 4096 токенов
Оптимизатор: Adam, cosine LR schedule (peak LR 2e-6)
Шаги обучения: 300 стэпов










Комментарии