Code RL LR Ablation

Это набор экспериментальных чекпоинтов от RL-Forgettting-Exp4, а не готовая продуктовая LLM. Абляция проверяет, как actor learning rate влияет на стабильность GRPO при обучении коду на MBPP: три значения ниже дефолтного 1e-6 — 6e-6, 3e-6 и 6e-7, каждое с replay-буфером и без. Базы — Qwen/Qwen3-1.7B-Base и Qwen/Qwen2.5-3B.

🔥 Ключевые особенности

• 🔥 GRPO на MBPP: лестница actor lr 6e-6, 3e-6 и 6e-7; каждый запуск повторяется с replay и без.
• 💻 Базы: Qwen/Qwen3-1.7B-Base и Qwen/Qwen2.5-3B; в таблице карточки приведены три ячейки для lr 6e-7.
• 🎲 Replay-ветка: 128 прошлых rollouts на шаг, weight lambda=0.1, выбор через hard_cooldown.
• 📌 Данные: 320 задач MBPP, вынесенных из MBPP+ (378) и канонического test split (276).
• ⏳ В каждом каталоге — полный HF-чекпоинт global_step_N, логи тренера и сэмплированные rollouts.

💻 Пример

from transformers import AutoModelForCausalLM
m = AutoModelForCausalLM.from_pretrained(
    "RL-Forgettting-Exp4/code-rl-lr-ablation",
    subfolder="qwen3_1p7b_base_mbpp_nobuf_lr6e7/global_step_1000"
)

Подробнее

Оценка: MBPP+ (378 задач), n=160 сэмплов, temperature 0.6, top_p 0.95, unbiased pass@k; полный тест-сьют MBPP+ (~108 тестов на задачу).
Тренировка: GRPO, 8 rollouts на промпт, batch 64, длина ответа 3072; бинарная награда за прохождение asserts.
В карточке нет итоговых цифр pass@k и требований к VRAM; выше 1e-6: 1e-5 — «coin flip», 1e-4/1e-3 стабильно фатальны для обеих веток.