Qwen3.5-2B-Math-SFT-RL
набор LoRA для решения математики через умный RL
2 мин чтенияобновлено
Набор LoRA-адаптеров (лёгких надстроек над весами нейросети) для компактной языковой модели Qwen3.5-2B от автора Munchic. Репозиторий посвящён эксперименту по обучению с подкреплением (RL) через алгоритм GRPO на сложных математических задачах уровня MATH. Главная идея — использовать простой предиктор на основе гребневой регрессии, который ещё до генерации ответа оценивает вероятность решения задачи и отбирает для обучения только самые пограничные примеры (с шансом успеха около 50%). Такой отбор позволяет не тратить вычислительные ресурсы на слишком лёгкие или безнадёжные задачи и заметно обходит базовую модель и стандартный RL по точности. Пригодится исследователям RL-методов, разработчикам компактных моделей для логических рассуждений и тем, кто изучает оптимизацию GRPO.
Ключевые особенности
- Умный отбор задач: предиктор на базе ridge-регрессии оценивает сложность вопроса без предварительной генерации роллаутов (пробных ответов), используя метаданные задачи и сигналы одного прохода по эталонному решению.
- Эффективный вариант с 1 роллаутом: адаптер
PromptSelect-RL-1Rolloutиспользует по 1 генерации на 29 отобранных задач за шаг вместо группы из 8 ответов и достигает лучшего результата за меньшее число роллаутов. - Несколько чекпоинтов для сравнения: в одном репозитории лежат все этапы эксперимента — чистый SFT, три сида обычного GRPO и два варианта с отбором промптов.
- Чёткий формат вывода: все адаптеры обучены с отключённым режимом рассуждений (
thinking off) и выдают итоговый ответ внутри конструкции\boxed{}.
Что можно сделать
- Сравнить стратегии RL-обучения: загружать разные подпапки репозитория поверх
Qwen/Qwen3.5-2B(ревизия15852e8), чтобы на практике проверить разницу между SFT, классическим GRPO и отбором промптов. - Решать сложные математические задачи на слабом железе: использовать топовый адаптер
Qwen3.5-2B-SFT-PromptSelect-RL-1Rollout-Math-s0для локального решения задач уровня MATH (уровни сложности 3–5) с лимитом до 1024 токенов. - Изучить динамику обучения: заглянуть в файлы
metadata.jsonвнутри каждой подпапки, где сохранены детальные разбивки метрик и параметры шагов каждого запуска.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
rev = "15852e8c16360a2fea060d615a32b45270f8a8fc"
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-2B", revision=rev, dtype="float32")
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-2B", revision=rev)
model = PeftModel.from_pretrained(base, "Munchic/Qwen3.5-2B-Math-SFT-RL",
subfolder="Qwen3.5-2B-SFT-PromptSelect-RL-Math-s0")
Подробнее
Точность на отложенной выборке из 1 000 задач MATH (уровни 3–5, лимит 1024 токена): базовая Qwen3.5-2B — 0.400, после SFT — 0.262, обычный RL (среднее по 3 сидам) — 0.465, PromptSelect RL — 0.526, PromptSelect RL (1 rollout) — 0.541.Конфигурация LoRA: rank r=16, alpha=32, точность fp32; обучение проводилось на датасете SimpleRL MATH-hard (задачи с рисунками
[asy] исключены).Ограничения: обучение останавливалось при «length runaway» (более 15% обрезанных на 1024 токенах ответов 5 шагов подряд); оба варианта PromptSelect пока обучены только на одном сиде.










Комментарии