slower-longer-never-stopping-gemma4-lora
LoRA-адаптеры для изучения самоисправления кодинг-агентов
2 min readupdated
Набор из семи исследовательских LoRA-адаптеров (небольших обучаемых надстроек над весами) для языковой модели Gemma 4 12B от команды AEVELABS. Авторы пытались улучшить автономного кодинг-агента, дообучая его на собственных успешных траекториях и сценариях, где модель сначала допускала ошибку, а затем находила рабочее решение. Честный итог исследования: ни один из адаптеров не превзошёл базовую модель без дообучения — модели начинали дольше «размышлять», реже отправляли итоговый патч и генерировали медленнее. Репозиторий пригодится исследователям ИИ и разработчикам агентов, которые хотят воспроизвести эксперимент или изучить, как SFT и DPO (обучение на предпочтениях) меняют поведение рассуждающих моделей.
Ключевые особенности
- 7 вариантов обучения: в репозитории собраны адаптеры из разных веток эксперимента — от обучения только на чистых решениях (
a-clean) до склеек с исправлением ошибок (b-recovery), маскирования ошибочного шага (c-mistake-masked) и DPO-выравнивания на 17 и 23 парах. - Фокус на рассуждениях агента: при обучении функция потерь считалась только по токенам самого агента, включая его внутренние размышления (thinking budget до 4096 токенов на шаг), при длине контекста до 28 000 токенов.
- Совместимость с PEFT и vLLM: адаптеры имеют ранг 32 (alpha 64), обучены в
bfloat16на базеgoogle/gemma-4-12B-it-qat-q4_0-unquantizedи протестированы в инференсе на 4-битной версии модели через vLLM 0.19.1. - Полная воспроизводимость: вместе с весами авторы открыли код обвязки
swegemma, логи прогонов на Kaggle и контрольные суммы MD5 для каждого файлаadapter_model.safetensors.
Что можно сделать
- Воспроизвести научный эксперимент: загрузить конкретную папку с адаптером в связке с базовой Gemma 4 12B и проверить результаты на задачах из бенчмарка OOD-45 или своих репозиториях.
- Изучить деградацию агентов при дообучении: проанализировать, почему SFT и DPO заставляют модель застревать в повторяющихся рассуждениях и откладывать вызов
submit_patchдо истечения таймера. - Продлить исследование на своих данных: взять за основу чекпоинт
b-recoveryи протестировать другие стратегии фильтрации траекторий или штрафов за длину размышлений.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM
base = AutoModelForCausalLM.from_pretrained("google/gemma-4-12B-it-qat-q4_0-unquantized", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, "AEVELABS/slower-longer-never-stopping-gemma4-lora", subfolder="b-recovery")Подробнее
Бенчмарк OOD-45 (44 задачи из 16 репозиториев, 2 прогона, лимит 15 мин): базовая модель решила в среднем 26 задач, промпт-контроль — 29.5 (+8 п.п.), лучшие адаптерыb-recovery и b-recovery-second-pass — 26 (0 п.п.), худший c-mistake-masked — 18 (−18 п.п.).Параметры LoRA: rank 32, alpha 64, dropout 0.05 на проекциях
q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.Обучение: бюджет 2.25 млн токенов для SFT (lr 1e-4); DPO запускался поверх
b-recovery на 3 эпохи (lr 2e-5, beta 2, mu 1).Ограничения: это исследовательские артефакты, не рекомендованные для продакшена; распространяются по лицензии Gemma Terms of Use.










Comments