Qwen3.5-9B-Base CPT-0.4coding

В репозитории — CPT-вариант Qwen3.5-9B-Base, предобученной причинной LLM с визуальным энкодером от Qwen Team. Карточка описывает именно базовую Qwen3.5-9B-Base, а суффикс CPT-0.4coding в названии не раскрывает деталей дообучения. Модель предназначена для файнтюна, in-context learning и исследований, а не для прямого диалога.

▶ Ключевые особенности

• ▶ Единая vision-language база: early fusion на мультимодальных токенах; по заявлению авторов, превосходит Qwen3-VL в reasoning, коде, агентах и визуальном понимании.
• ➕ Гибридная архитектура: Gated DeltaNet и sparse Mixture-of-Experts для высокой пропускной способности и низкой задержки.
• 🔜 Контекст 262 144 токена нативно, расширяется до 1 010 000.
• 🔤 Поддержка 201 языка и диалекта.
• 1⃣ 9B параметров, 32 слоя, hidden size 4096, FFN 12 288.
• ✖ Control tokens <|im_start|> и <|im_end|> обучены для LoRA-style PEFT с официальным chat template.

🔜 Пример

Сценарий из карточки: загрузить веса в Transformers, vLLM или SGLang и дообучить под свою задачу. Для PEFT используйте официальный chat template: control tokens уже обучены, поэтому эмбеддинги можно не трогать.

Подробнее

Контекст: 262 144 токена нативно, до 1 010 000.
Языки: 201.
Архитектура: 32 слоя, 8 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN)); 9B параметров.
Ограничение: pre-trained only, не для прямого взаимодействия; требования к VRAM не указаны.
Совместимость: Transformers, vLLM, SGLang.