Qwen3.5-4B 4k GRPO maturebass
модель для математических рассуждений
1 мин чтенияобновлено
Эта модель представляет собой специализированный файнтюн (дообученную версию) базовой LLM (большой языковой модели) Qwen/Qwen3.5-4B, обученный с помощью алгоритма GRPO (метод обучения с подкреплением на основе группового вознаграждения). Главная задача модели — решение математических задач с жестким ограничением длины ответа в 4096 токенов. Обучение проводилось на датасете DeepScaleR для улучшения логического и пошагового вывода. Новинка подойдет исследователям и разработчикам, которым нужны компактные модели с улучшенными навыками математических рассуждений.
Ключевые особенности
- Базовая модель: Qwen/Qwen3.5-4B с размером около 4.5 млрд параметров.
- Алгоритм обучения: GRPO с токен-level лоссом и нормализацией группового вознаграждения.
- Ограничение генерации: фиксированный бюджет токенов max_new_tokens на 4096 единиц.
- Награда за правильность: бинарная оценка по наличию ответа в тегах \boxed{}.
Что можно сделать
- Запустить в сервисах или локальных скриптах через библиотеку transformers для решения сложных математических задач.
- Развернуть инференс с помощью vLLM для быстрого тестирования модели.
- Исследовать поведение модели при решении олимпиадных или инженерных расчетов с пошаговым выводом.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "budget-internalization-iclr2027/qwen3.5-4b-4k-grpo-multiseed-seed42-maturebass-s300"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")
Подробнее
Алгоритм: GRPO (leave-one-out baseline, group reward normalization)Данные: DeepScaleR (математика), до 3 эпох
Оптимизатор: Adam, cosine LR, peak LR 5e-7
Чекпоинт: шаг 300, сид 42, веса в формате BF16










Комментарии