Qwen3-8B-RL2R
модель для математического рассуждения с RL2R
2 мин чтенияобновлено
Эта LLM (большая языковая модель) создана на базе Qwen/Qwen3-8B с использованием R1-Zero-подобного обучения с подкреплением по методу RL2R (Reinforcement Learning with Reference-Based Rewards). Вместо простой бинарной проверки ответов алгоритм учитывает семантическое сходство с эталонными решениями на уровне ответов и шагов, что дает плотную обратную связь на сложных задачах. Модель значительно превосходит базовую версию в математических бенчмарках (например, MATH500 и AMC) и подойдет исследователям и разработчикам систем автоматического решения задач.
Ключевые особенности
- Обучение RL2R с вознаграждением за семантическую близость к эталону.
- Базовая архитектура Qwen3 с размером 8.19 млрд параметров.
- Значительный прирост точности на олимпиадах и математических тестах.
- Поддержка фреймворка transformers и генерации ответов через vLLM.
Что можно сделать
- Решать сложные математические задачи и олимпиадные примеры (AIME, AMC, MATH500).
- Интегрировать модель в образовательные ИИ-ассистенты и боты-репетиторы.
- Анализировать пошаговые логические выкладки с ответами в формате
\boxed{}.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "mzhaoshuai/Qwen3-8B-RL2R"
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)
problem = "Let $a$ and $b$ be positive real numbers such that $a + b = 1.$ Find the minimum value of $\frac{1}{a} + \frac{1}{b}.$"
prompt = (
"<|im_start|>user\n"
f"Question: {problem}\n"
"Please reason step by step, and put your final answer within \\boxed{}.<|im_end|>\n"
"<|im_start|>assistant\n"
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=3072, do_sample=False)
response = tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)
Подробнее
Средняя точность на бенчмарках выросла с 20.2% (база) до 60.9%.Результат на MATH500 составляет 91.2% (greedy decoding) и до 97.0% (pass@16).
Обучение проводилось на 8523 математических задачах с использованием Dr. GRPO и bf16.










Комментарии