countdown-rl-gemma4-e4b-v1-s0

LoRA-адаптер (r = 16, alpha = 32) для текстового декодера google/gemma-4-E4B. Обучен через GRPO решать игру Countdown, вызывая Python-инструмент в цикле: политика пишет <think>, может запустить <python>, получить stdout в <output> и дать ответ в <answer>.

➕ Ключевые особенности

• ➕ Адаптер для текстового декодера Gemma-4-E4B, извлечённого из мультимодального чекпойнта.
• ▶ Обучение GRPO на игре Countdown с Python-инструментом в цикле; поддерживаются <think>, <python>, <output> и <answer>.
• 1⃣ Промпт-зависимая политика: обучалась с fewshot_multi_retry, оценивать нужно с тем же промптом.
• ➖ Перед запуском нужен отдельный текстовый декодер: prepare_gemma4_text.py; используйте --attn eager.
• ✖ Есть готовый eval-скрипт countdown-eval с merge-adapter, max-rounds и max-new-tokens.

1⃣ Пример

uv run python scripts/prepare_gemma4_text.py --model google/gemma-4-E4B --out models/gemma-4-E4B-text
uv run countdown-eval --model models/gemma-4-E4B-text --adapter adapters/gemma4-e4b-v1-s0 --eval-file data/holdout3.jsonl --prompt-style fewshot_multi_retry --max-new-tokens 768 --max-rounds 2 --merge-adapter --attn eager

Подробнее

holdout3: 30.9% pass@1; easy 58.2%, medium 19.0%, hard 6.3% (1,000 задач, greedy, 768 tokens, два раунда кода).
Нужен отдельный текстовый декодер Gemma-4-E4B; сначала prepare_gemma4_text.py, затем запуск с --attn eager.
Промпт-зависимый адаптер: обучался и должен оцениваться с fewshot_multi_retry.
Детали обучения: GRPO, recipe v1, from-scratch replay, seed 0; код, конфиги и логи — в сопровождающем репозитории.