Qwen3.8-27B-Uncensored-INT8-QEngine

Community-конверсия модели Qwen3.8-27B-Uncensored-BF16 в INT8 для инференс-рантайма QEngine. Это сторонняя сборка, а не официальный релиз Alibaba Cloud/Qwen. Основные веса квантованы в симметричный W8A16 с group size 128, MTP-голова оставлена в BF16.

🔍 Ключевые особенности

• ⚙ Основные веса — W8A16, group size 128; MTP head в BF16, KV-скейлы взяты из локального INT4-чекпоинта.
• 🖥 Заточен под QEngine: протестирован с образом ghcr.io/bpx03/qengine:1.3.5.2-vision и OpenAI-совместимым API /v1/chat/completions.
• 📊 Контекст 262 144 токена, четыре слота, FP8 E4M3 KV-кэш.
• ⚠ Transformers и vLLM не тестировались — совместимость с ними не гарантируется.
• 🔖 В комплекте конфиг, токенизатор, chat template и лицензия Apache-2.0.

💻 Пример

curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen3.8-27b-qengine","messages":[{"role":"user","content":"Explain quantization in one paragraph."}],"max_tokens":256}'

Подробнее

Бенчмарк на трёх RTX 3090 с QEngine 1.3.5.2: 134 tok/s на нарративе, 171,7 tok/s на коде, prefill ~10K токенов — 3 574,8 tok/s.
Все GPU были ограничены 250 Вт, поэтому цифры не отражают работу на штатном питании.
В пробе N=4 VRAM — 69 940 MiB, per-stream decode 74,3 tok/s.
Провенанс апстрима и ревизия конвертера в метаданных отсутствуют — проверяйте источник и лицензию перед распространением.
«Uncensored» — это метка модели, а не гарантия безопасности.