Lego-RL Qwen3.5-35B-A3B Mixed

Это экспорт global step 90 из RL-эксперимента Lego-RL mixed-harness на базе Qwen/Qwen3.5-35B-A3B. Модель обучали через OpenHands SDK, Claude Code и OpenCode для repository-level coding tasks; в метаданных указано 35,95 млрд параметров.

👀 Ключевые особенности

• 🤖 Совместное обучение в mixed-harness: это единый чекпоинт, а не параметрическое усреднение или сумма отдельных специализированных моделей.
• 🔥 Policy loss — GSPO, advantage estimator — GRPO; обновление политики через VeOmni, rollout через vLLM.
• 💻 Модель заточена под repository-level coding tasks в агентных harness'ах.
• ⏳ Контекст обучения — 160 000 токенов, лимит ответа — 130 000 токенов.
• 📓 Веса в BF16, два safetensors-шарда; optimizer и trainer state не включены.
• ❌ В карточке нет новых бенчмарков или inference acceptance-run.

💻 Пример

Сценарий из карточки: агенту дают репозиторий и задачу на уровне репозитория, а модель работает через harness с инструментами. Например, запрос: «Найди причину падения тестов в модуле X, исправь код и покажи diff». Оценка зависит от harness, интерфейса инструментов, бюджета задачи и конфигурации сервинга.

Подробнее

Бенчмарков в карточке нет. Нужны Transformers или vLLM с поддержкой Qwen3_5MoeForConditionalGeneration; оригинальный экспорт — Transformers 5.4.0.
Чекпоинт global_step_90: learning rate 1e-6, policy update mini-batch size 64.
Карточка предупреждает: training context limit не равен positional capacity; новых inference или benchmark прогонов нет. Требования к VRAM не указаны.