PowerRL R1-Distill 1.5B
математическая модель с регулировкой глубины рассуждений
2 мин чтенияобновлено
Компактная языковая модель на 1.78B параметров для решения олимпиадных математических задач с настраиваемой длиной цепочки рассуждений (reasoning effort). Она основана на DeepSeek-R1-Distill-Qwen-1.5B и дообучена методом обучения с подкреплением (RL) автором steviel на датасете DAPO-Math-17k. Главная фишка — выбор одного из пяти уровней усилия через системный промпт (от минимального Low до максимального Xhigh), что позволяет напрямую управлять балансом между точностью ответа и затраченными токенами. Подойдёт разработчикам и исследователям, которым важен контроль расхода токенов при локальном запуске лёгких рассуждающих моделей.
Ключевые особенности
- 5 уровней рассуждений через системный промпт: Low, Limited, Mid, High и Xhigh (четыре взяты из метода ORBIT, уровень Limited добавлен специально для этой модели).
- Прямой компромисс скорости и точности: на уровне Low модель тратит в среднем 723–898 токенов, а на High — около 7100 токенов, поднимая точность почти в 2.5 раза.
- Полные объединённые веса в формате
bf16(шаг обучения 1500), токенизатор и шаблон чата полностью унаследованы от базовой модели. - Контекст генерации до 16 384 токенов и вывод финального ответа в стандартном формате
\boxed{}.
Что можно сделать
- Встроить в локальный сервис проверки или решения математических задач на Python с помощью библиотеки
transformers, переключая режимы в зависимости от сложности вопроса. - Провести эксперименты по оптимизации инференса, подбирая минимально достаточный уровень рассуждений (например, Limited или Mid) для экономии вычислительных ресурсов.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "steviel/powerrl-r1distill-1.5b-16k-step1500"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")
messages = [
{"role": "system", "content": "You have limited time to think and respond to the user’s query. ..."},
{"role": "user", "content": "Find n <= 100 such that n^2 + 1 is divisible by 5. Let's think step by step and output the final answer within \\boxed{}."},
]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=16384, do_sample=True, temperature=0.6, top_p=0.95)
print(tok.decode(out[0, inputs.shape[1]:], skip_special_tokens=True))
Подробнее
Бенчмарк AIME 2024: точность 43.0% на уровне High (7109 токенов), 35.7% на Mid (4054 токена) и 17.9% на Low (898 токенов).Бенчмарк AIME 2025: 31.1% на High (7073 токена), 27.9% на Mid (3248 токенов) и 14.9% на Low (723 токена).
Обучение: 1500 шагов (128 задач × 16 сэмплов) с наградой за правильность ответа и штрафом за длину в зависимости от выбранного уровня.
Ограничения: обучена и протестирована только на олимпиадной математике (англ. язык); ответы длиннее 12 000 токенов верны лишь в 9% случаев (против 89% для ответов короче 4000 токенов).










Комментарии