Qwen3.6-35B-A3B
открытая MoE-модель для агентного кодинга
1 min readupdated
Qwen3.6-35B-A3B — открытая мультимодальная LLM от Qwen с Vision Encoder. Всего 35B параметров, но в работе активируется только 3B благодаря MoE: 256 экспертов, 8 routed + 1 shared. Основной акцент — стабильность и агентный кодинг: фронтенд-воркфлоу и reasoning на уровне репозитория.
Ключевые особенности
- 35B total / 3B activated; MoE с 256 экспертами, 8 routed + 1 shared.
- Agentic Coding: увереннее работает с frontend-задачами и reasoning на уровне репозитория.
- Thinking Preservation: можно сохранять reasoning из предыдущих сообщений для итеративной разработки.
- Нативный контекст 262 144 токена, расширяется до 1 010 000.
- Vision Encoder и task image-text-to-text; совместимость с Transformers, vLLM, SGLang, KTransformers.
Пример
Сценарий из карточки: попросить модель разобрать frontend-задачу и внести изменения на уровне репозитория, сохранив reasoning из прошлых сообщений через Thinking Preservation. Например: «Разбери репозиторий, найди причину бага во фронтенде и предложи патч».
Подробнее
Бенчмарки: SWE-bench Verified — 73.4; SWE-bench Multilingual — 67.2; Terminal-Bench 2.0 — 51.5.Архитектура: 40 слоёв, Gated DeltaNet + Gated Attention, обучение с MTP.
Требования к VRAM в карточке не указаны; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers.










Comments