ganit-1.5b-grpo-v2
LoRA-адаптер для пошагового решения математических задач
2 мин чтенияобновлено
Это LoRA (небольшая надстройка над базовой моделью) для компактной языковой модели Qwen/Qwen2.5-1.5B-Instruct от автора Mayank Parashar. Адаптер учит модель решать школьные математические задачи с пошаговыми рассуждениями и выдавать итоговый ответ в строгом формате с тегами и . Обучение проводилось методом GRPO (алгоритм обучения с подкреплением на основе групповых оценок ответов) на датасете GSM8K с проверяемыми наградами. В результате адаптер поднимает точность базовой модели на тестовой выборке с 44.0% до 74.7% при одновременном сокращении средней длины ответа. Решение подойдёт разработчикам, которым нужны компактные и предсказуемые по формату модели для математических рассуждений на английском языке.
Ключевые особенности
- Рост точности на GSM8K: показатель Accuracy увеличился с 44.0% у базовой модели до 74.7% на выборке из 300 задач.
- Строгий формат вывода: соблюдение структуры ответа с тегами
ивыросло с 86.7% до 99.0%. - Более лаконичные рассуждения: средняя длина генерации сократилась с 723 до 634 символов при повышении качества.
- Поддержка Self-consistency: при генерации 4 вариантов ответа точность по мажоритарному голосованию достигает 76.0% (pass@4 — 87.0%).
Что можно сделать
- Встроить в образовательные сервисы: использовать в англоязычных репетиторах и тренажёрах для автоматической проверки и пошагового разбора школьных задач.
- Автоматизировать парсинг ответов: применять в пайплайнах, где важно надёжно извлекать итоговое число из тега
без сложной постобработки. - Изучить как референс GRPO: взять конфигурацию обучения (TRL
GRPOTrainer, LoRA r=16) за основу для собственных экспериментов с RL-дообучением компактных LLM.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct")
model = PeftModel.from_pretrained(model, "Mahir28/ganit-1.5b-grpo-v2")
Подробнее
Точность по сложности задач: easy — 85.7% (N=112), medium — 68.1% (N=138), hard — 68.0% (N=50); pass@1 = 68.7%.Параметры LoRA: r = 16, α = 32, dropout = 0.05 (слои q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj).
Обучение: 750 шагов через TRL GRPOTrainer, 8 генераций на промпт, KL β = 0.04, lr = 2e-05 (cosine), батч 8 × 4.
Функция наград: correctness, format и tag_count с равными весами [1.0, 1.0, 1.0].










Комментарии