Qwen3-VL-30B-A3B Instruct на MetaX

Это instruction-tuned мультимодальная vision-language модель из серии Qwen3-VL от Alibaba. Архитектура MoE: около 30B параметров всего и ~3B активных на токен. Репозиторий FlagRelease предлагает готовую сборку для inference на двух GPU MetaX C550 через контейнер FlagOS и vLLM.

✨ Ключевые особенности

• 📷 Понимает изображения: captioning, VQA, OCR, документы, графики и visual grounding.
• 🖼 Поддерживает изображения высокого разрешения и несколько изображений на входе.
• 📚 Умеет long-context reasoning и мультиязычное понимание.
• 💻 Готовый FlagOS-Metax container: развёртывание за минуты по шагам из карточки.
• ✅ Есть скрипты запуска vLLM-сервера и примеры запросов text/image.

💻 Пример

Текстовый запрос к серверу vLLM:

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen3vl","messages":[{"role":"user","content":"你好"}]}'

Подробнее

Бенчмарки в карточке: GPQA — 65.15, ERQA — 46.
Железо: 2× GPU MetaX C550, Docker, Ubuntu 22.04.5, драйвер MetaX 3.8.1, SDK MACA 3.7.0.38.
Запуск через контейнер FlagOS-Metax и vLLM; веса доступны через ModelScope.
Лицензия Apache 2.0, веса происходят от Qwen3-VL.