Qwen3.8-27B-Coder390-EXL3-3.85bpw
27B кодер с vision и контекстом 262k на одной RTX 3090
2 min readupdated
Квантизованная версия мультимодальной модели Qwen3.8-27B-Coder390 в формате EXL3 (сжатие весов для видеокарт NVIDIA, в среднем 3.85 бита на параметр) от исследователей из Автономного университета Барселоны (JRamirez-UAB). Она решает задачи программирования, рассуждений и анализа изображений, позволяя развернуть тяжёлую модель на одной потребительской карте с 24 ГБ видеопамяти. В отличие от многих обрезанных сборок, здесь сохранены модуль зрения (6 бит) и MTP (Multi-Token Prediction — спекулятивное декодирование на 3 токена вперёд для ускорения генерации). Пригодится разработчикам, которые запускают локальных ИИ-агентов и ассистентов для кода.
Ключевые особенности
- Точное сжатие 3.85 bpw: основные веса сжаты до 3.85 бита, голова модели — до 5 бит, модуль зрения — до 6 бит, а эмбеддинги токенов — до 8 бит.
- Полный контекст 262 144 токена: модель умещается в 24 ГБ VRAM вместе с KV-кэшем (
k8v4) и поддержкой до 8 изображений на запрос. - Высокая скорость с MTP: спекулятивное декодирование на 3 токена даёт 86 ток/с в один поток и до 248 ток/с при 4 параллельных запросах на RTX 3090.
- Минимальная потеря качества: расхождение (KLD) с оригинальной BF16-версией составляет всего 0.0089 на реальных агентских сценариях
opencode.
Что можно сделать
- Запустить локального ИИ-агента для кода: подключить модель через
vLLMк инструментам вродеopencode— в тестах она безошибочно отработала 30/30 вызовов инструментов и 10/10 агентских задач. - Анализировать скриншоты и схемы с кодом: благодаря сохранённому vision-модулю можно отправлять модели интерфейсы, диаграммы и длинные репозитории до 262k токенов.
Пример
vllm serve JRamirez-UAB/Qwen3.8-27B-Coder390-EXL3-3.85bpw \
--served-model-name coder390 --max-model-len 262144 \
--kv-cache-dtype k8v4_per_token_head --kv-cache-memory-bytes 8500000000 \
--limit-mm-per-prompt '{"image": 8}' --reasoning-parser qwen3 \
--enable-auto-tool-choice --tool-call-parser qwen3_coder \
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'
Подробнее
Железо и софт: протестировано на одной RTX 3090 (24 ГБ VRAM, CUDA sm_86) в vLLM 0.33 с плагином quantpack 0.1.5.Бенчмарки на RTX 3090: Vision 15/15, Reasoning 18/18, поиск в контексте (Needle) на 64k/128k/241k — 8/8, игровые задачи по коду — 42/48 баллов.
Важное ограничение: при низкой температуре модель склонна зацикливаться в рассуждениях (при T=0.6 зациклились 8 из 30 промптов, при T=1.0 — 0 из 30). Используйте штатный конфиг:
temperature=1.0, top_p=0.95, top_k=20.









Comments