Qwen3.5-0.8B на AX8860

AXERA-TECH выложила сборку Qwen3.5-0.8B для 4-ядерного NPU Axera AX8860 на llama.cpp и ggml-axera. Модель принимает текст и изображения; веса идут в GGUF Q8_0 (0.83 GB), визуальный энкодер — отдельный BF16 GGUF (0.21 GB). Контекст — до 16384 токенов.

🤓 Ключевые особенности

• 🗣 Поддержка текста и изображений: есть ViT-энкодер и режим описания картинки.
• 🏃‍♂ На AX8860: prefill 4k промпта — 21600 tokens/s, decode — 125.6 tokens/s, кодирование изображения — 80 ms + 20 ms CPU.
• ⌨ Веса Q8_0 при загрузке конвертируются в MXFP8 (E4M3 + E8M0 scale на каждые 32), в NPU-памяти хранится одна копия.
• 😎 Prefill — один kernel на всю модель, decode — по одному kernel на 12 слоёв; загрузка весов из GGUF занимает 6.9 s.
• 📞 run.sh умеет текстовое дополнение, описание изображения, чат в терминале и OpenAI-совместимый сервер.
• 🤔 Ограничения: одна последовательность, контекст до 16384, NPU 4 ядра занимаются эксклюзивно, спекулятивного декодирования нет.

📝 Пример

./run.sh "The capital of France is" 64
./run.sh -i bus.jpg "Describe this image." 256
./run.sh -s 8080

Подробнее

Китайский PPL: 40.76 на NPU против 40.13 на CPU (+1.6%).
Память: 1.26 GB NPU в пике и 0.47 GB host; загрузка — 8.3 s, конвертация весов — 6.9 s.
Требуется AX8860 и SDK V0.5.0+; на сервере нужен -np 1.