Qwen3-1.7B-Countdown-DrGRPO-512tok
обучение компактной LLM решать числовые головоломки
3 мин чтения
Модель представляет собой полную дообученную версию языковой модели Qwen3-1.7B (1,72 млрд параметров), натренированную решать арифметическую головоломку Countdown: из 3 или 4 заданных чисел нужно составить выражение с операциями + - * /, чтобы получить целевое число. Автор calmcam использовал метод Dr.GRPO (вариант обучения с подкреплением без штрафа за отклонение от исходной модели) в рамках эксперимента по сравнению алгоритмов GRPO и Dr.GRPO при жестком ограничении на длину ответа в 512 токенов. В отличие от базовой версии, которая часто не укладывалась в лимит токенов на размышления и ошибалась, дообученная модель научилась рассуждать компактнее и повысила точность с 15,7% до 57,5%. Чекпоинт пригодится исследователям RL-методов (обучения с подкреплением) и разработчикам, изучающим сжатие цепочек рассуждений в малых моделях.
Ключевые особенности
- Рост точности в 3,6 раза: на тестовой выборке точность с первой попытки выросла с 15,7% у базовой Qwen3-1.7B до 57,5%, а метрика pass@4 (хотя бы один верный ответ из 4 попыток) достигла 66,1%.
- Компактные рассуждения: средняя длина генерации сократилась с 496 до 382 токенов, а доля ответов, упирающихся в лимит 512 токенов, упала с 81% до 44%.
- Сравнение с GRPO: чекпоинт входит в серию из четырех моделей, обученных на одинаковых данных — версия с Dr.GRPO на 512 токенов немного уступает аналогу на базе классического GRPO (61,7%).
- Быстрое обучение: модель прошла полнопараметрический файнтюн всего за 80 шагов с фиксированным бюджетом на размышления и итоговый ответ.
Что можно сделать
- Сравнить поведение алгоритмов GRPO и Dr.GRPO на одинаковых математических задачах, сопоставив этот чекпоинт с соседними моделями из серии автора.
- Использовать модель как готовый решатель головоломок Countdown в образовательных ботах или локальных скриптах с инференсом через
transformersилиvLLM. - Изучить влияние жесткого лимита токенов на качество цепочек рассуждений (thinking mode) у компактных моделей семейства Qwen3.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "calmcam/Qwen3-1.7B-Countdown-DrGRPO-512tok"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="bfloat16", device_map="auto")
messages = [{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Using the numbers [44, 19, 35], create an equation that equals 98... Keep your reasoning under 512 tokens."}]
out = model.generate(**tok(tok.apply_chat_template(messages, add_generation_prompt=True, tokenize=False), return_tensors="pt").to(model.device), max_new_tokens=512, temperature=1.0, top_p=1.0, stop_strings=[""], tokenizer=tok)
Подробнее
Бенчмарк Countdown-Tasks-3to4 (1024 задачи): точность 57,5% (1 попытка), 85,1% на задачах с 3 числами и 29,9% на задачах с 4 числами (mean@4).Обучение: 80 шагов (16 промптов × 8 генераций на шаг), оптимизатор AdamW, lr 7e-06, формат bfloat16.
Ограничения: модель чувствительна к формату промпта (требуются теги
и ) и при запуске без явных параметров генерации не останавливается на автоматически.









Комментарии