LFM2.5-24B-A2B-claude-code

Это LoRA-адаптер для LiquidAI/LFM2.5-24B-A2B, обученный с reinforcement learning, чтобы работать моделью под Claude Code на задачах анализа данных. Каждый rollout — полная сессия Claude Code в удалённом sandbox: агент читает задачу, запускает shell и Python, затем верификатор оценивает ответ. Адаптер обучен на этих оценках через async GRPO из TRL.

⚙️ Ключевые особенности

• 🛠 Обучение на полных сессиях Claude Code: инструменты, данные задачи и проверка результата.
• 📐 LoRA: r=32, alpha=64, все linear layers; 100 шагов, learning rate 1e-5.
• 🚀 Есть готовые команды для vLLM и llama.cpp; vLLM отдаёт Anthropic Messages API для Claude Code.
• 📊 На 100 задачах SmolDataEnvs-harbor-test pass@1 базовой модели — 0.68; адаптер в пределах шума.
• 🧪 Ограничения: только data-analysis задачи, малая оценка и отсутствие измеренного прироста.

💻 Пример

vllm serve LiquidAI/LFM2.5-24B-A2B \
  --enable-lora --max-lora-rank 32 \
  --lora-modules lfm-harbor-cc=harness-hub/LFM2.5-24B-A2B-harbor-claude-code-lora \
  --enable-auto-tool-choice --tool-call-parser lfm2 \
  --max-model-len 131072

Подробнее

Обучение: 100 шагов async GRPO (TRL), LoRA r=32/alpha=64, 1× NVIDIA B300.
Оценка: base pass@1 0.68 на 100 задачах; различия до ±5 пунктов — шум.
Под pi step 100: −1 пункт pass@1 и −2% tool calls.
Ограничения: только data-analysis задачи; GGUF-версия не переоценена.