WeVisOne-VL-GGML

Репозиторий Asher-1 с GGUF-версиями WeVisOne-VL: моделями image-to-text на базе tencent/WeVisOne-VL-2B и tencent/WeVisOne-VL-4B. Экспорты предназначены для efficient local inference с llama.cpp и содержат VLM, мультимодальный проектор и mask decoder для сегментации.

🔤 Ключевые особенности

• ➕ Два размера: 2B и 4B, файлы организованы по размеру модели.
• 🟰 VLM-варианты в FP16, Q8_0 и Q4_K_M; для 2B Q4_K_M весит 1.20 GB, для 4B — 2.53 GB.
• ✖ Отдельные mmproj-файлы FP16: 0.76 GB для 2B и 0.78 GB для 4B.
• ➖ Mask decoder есть в FP32 и FP16; Q4_K для decoder намеренно не предлагается.
• ▶ Архитектура VLM-вариантов — qwen3vl; decoder использует wevisone_mask.

▶ Пример

./llama-cli \
  -m wevisone-vlm-2b-q8_0.gguf \
  --mmproj mmproj-wevisone-vlm-2b-f16.gguf \
  --image your_image.jpg \
  -p "Describe this image."

Подробнее

FP16 VLM: 3.80 GB для 2B и 8.23 GB для 4B; Q8_0 — 2.02 и 4.38 GB.
Q8_0 заявлен как отдельный quantized tier с ratio ≤ 2.5 noise band; Q4_K_M — quality tier, требует проверки на parity suite.
Decoder FP32 — единственный parity-gated tier; FP16 может давать drift по MAD.
Требования к VRAM в карточке не указаны; mask decoder запускается через C++ runtime WeVisOne-VL.