LFM2.5-2.6B junie-harbor RL v0.3
промежуточный RL-чекпоинт для coding-агента
1 min readupdated
Это промежуточный чекпоинт (шаг 80) модели LiquidAI/LFM2.5-2.6B, дообученной через reinforcement learning (GRPO) под работу coding-агента в CLI на задачах анализа данных. LoRA-адаптер слит с базовыми весами: в репозитории лежит полная bf16-модель и отдельный адаптер в lora-adapter/. Это не финальная модель — обучение продолжается.
Ключевые особенности
- Обучение: асинхронный GRPO (TRL
AsyncGRPOTrainer), LoRA r=32, alpha=64, все linear-слои. - Задачи: data-analysis из
FineEnvs/SmolDataEnvs-harbor-train, отобранные по разбросу исходов. - Reward: корректность верификатора плюс небольшой бонус за эффективность инструментов (вес 0.1) на правильных ответах.
- Rollouts: 8 на группу задач, temperature 1.0, до 40 вызовов модели и 1800 с на rollout.
- Чекпоинты каждые 10 шагов; этот артефакт — шаг 80 из бюджета 1000.
- Парная оценка с базовой моделью на held-out задачах пока не опубликована.
Пример
Сценарий из карточки: coding-agent CLI запускается headless в Docker-песочнице и решает задачи анализа данных; вызовы модели сохраняются с prompt tokens, sampled tokens и logprobs и используются как данные для обучения.
Подробнее
Метод: async GRPO + LoRA; learning rate 1e-5; 8 rollouts на группу.Модель 2.6B и шаг 80: ожидайте скромного прироста, а не production-агента.
Перенос на другие домены не тестировался; обучение продолжается до 1000 шагов.










Comments