WeVisOne-VL-4B

WeVisOne-VL-4B от WeChat Vision (Tencent) — унифицированная vision-language модель на базе Qwen3-VL. Она объединяет object-level и pixel-level восприятие через structured next-token prediction и лёгкий pixel decoder на 9,6 млн параметров; всего в модели 4,83 млрд параметров. Предназначена для исследований visual grounding, сегментации, OCR-локализации и image matting.

🤓 Ключевые особенности

• 🤓 Open-vocabulary object detection, referring localization, object counting, object pointing и OCR.
• 🫣 Referring segmentation и promptable alpha matting.
• 📝 Специальные coordinate tokens <0>…<1000> для нормализованных боксов и точек; если объекта нет, возвращается None.
• 🤔 После каждого бокса для dense-задач выдаётся instance token <OBJ> (token ID 152678).
• 👍 Обязательный mask_decoder.pt на 9 609 764 параметра: visual adapter, box-guided query decoder и dense prediction head.

⌨ Пример

from PIL import Image
from wevisone_vl import WeVisOneVL

model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))

Подробнее

В модели 4,83 млрд параметров; также выпущен вариант WeVisOne-VL-2B.
Инференс идёт без явного CoT и рассчитан на single-turn восприятие изображения; video grids pixel decoder отклоняет.
Границы alpha чувствительны к разрешению, сильной окклюзии, сложной прозрачности и формулировке промпта.
Код Tencent в репозитории — под Apache License 2.0.