DesignCoder 4B

DesignCoder 4B от chjdl1816 — это merged BF16-модель на 4,54 млрд параметров, полученная из LoRA SFT-чекпоинта Qwen3.5-4B. Это SFT-модель, а не RL-чекпоинт; AdamW-версия выбрана для инициализации DesignCoder RL.

🔥 Ключевые особенности

• ✅ Полный экспорт: загрузка не требует PEFT или отдельной базовой модели.
• ✅ LoRA rank 64, alpha 128, dropout 0.05; 2 эпохи, step 12588.
• ✅ Обучение с AdamW, LR 1e-4, cosine schedule, effective batch 8.
• ✅ Training cutoff — 16384 токена; токенизатор и chat template из чекпоинта.
• ✅ В репозитории также лежат исходные adapter-веса в adapter/.

✨ Пример

from transformers import AutoTokenizer, Qwen3_5ForConditionalGeneration

model_id = "chjdl1816/designcoder-mc"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = Qwen3_5ForConditionalGeneration.from_pretrained(
    model_id, dtype="auto", device_map="auto"
)

Подробнее

Бенчмарки в карточке не заявлены; GPU-инференс и vLLM end-to-end RL-оценка не проводились.
Экспорт проверен с Transformers 5.8.0, PEFT 0.18.1 и PyTorch 2.6.0.
Лицензия — Apache-2.0, как у базовой Qwen3.5-4B.
Не применяйте adapter к уже merged-модели в корне репозитория.