Qwen3.5-4B-ArgGYM-GRPO-step100-LoRA

Это LoRA-адаптер (rank 64, alpha 32, fp32) для Qwen/Qwen3.5-4B на ревизии 851bf6e. Автор bdsaglam обучил его методом GRPO в verl v0.9.1 на ArgGYM — бенчмарке задач формальной аргументации (ASPIC+). Это шаг 100, последний в прогоне из 100 шагов.

🤓 Ключевые особенности

• 🤓 Адаптер покрывает все attention, linear-attention и MLP-проекции 32 слоёв LLM — 248 модулей; vision tower не затронут.
• 📝 Обучение на ArgGYM: 82 ячейки задач/уровней, 8200 задач, уровни сложности 1–12.
• 🗣 Задачи: attack, defence, attack/defence, counter-argument, claim chains, preference construction, status и semantics queries, defeat diagnosis, formalization, perturbation.
• ⌨ GRPO: 18 задач × 16 сэмплов на шаг, learning rate 3e-5 с cosine decay до 3e-6, 3 шага warmup, без KL-штрафа.
• 😎 Reward: 1 за правильный ответ, иначе 0; для status_query, defeat_diagnosis, formalization и perturbation ещё 0.3 × доля правильного в ответе.
• 🤔 Rollout: temperature 1.0, top-p 0.95, top-k 20, presence penalty 1.5; thinking mode включён.

📝 Пример

from transformers import AutoModelForImageTextToText
from peft import PeftModel

base = AutoModelForImageTextToText.from_pretrained(
    "Qwen/Qwen3.5-4B", revision="851bf6e", dtype="bfloat16")
model = PeftModel.from_pretrained(
    base, "bdsaglam/Qwen3.5-4B-ArgGYM-GRPO-step100-LoRA")

Подробнее

Dev success rate (96 задач, 8 сэмплов): база 0.309, step 20 — 0.418, step 40 — 0.447, step 60 — 0.527, step 80 — 0.569; для step 100 ещё не измерен.
На step 80 прирост над базой +0.26 (95% CI +0.20…+0.32); крупнейшие улучшения: attack 0.25→0.91, attack/defence 0.33→0.86.
Ограничения: dev-набор маленький (±0.1), обучение только на ArgGYM, ответы в среднем ~28k токенов — закладывайте 40k–65k.
Адаптер только для LLM: vision tower не адаптирован; обучение продолжается, возможен более поздний чекпоинт.