Qwen3-VL-30B-A3B Instruct на MetaX
готовый запуск через FlagOS
1 min read
Это instruction-tuned мультимодальная vision-language модель из серии Qwen3-VL от Alibaba. Архитектура MoE: около 30B параметров всего и ~3B активных на токен. Репозиторий FlagRelease предлагает готовую сборку для inference на двух GPU MetaX C550 через контейнер FlagOS и vLLM.
Ключевые особенности
- Понимает изображения: captioning, VQA, OCR, документы, графики и visual grounding.
- Поддерживает изображения высокого разрешения и несколько изображений на входе.
- Умеет long-context reasoning и мультиязычное понимание.
- Готовый FlagOS-Metax container: развёртывание за минуты по шагам из карточки.
- Есть скрипты запуска vLLM-сервера и примеры запросов text/image.
Пример
Текстовый запрос к серверу vLLM:
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen3vl","messages":[{"role":"user","content":"你好"}]}'
Подробнее
Бенчмарки в карточке: GPQA — 65.15, ERQA — 46.Железо: 2× GPU MetaX C550, Docker, Ubuntu 22.04.5, драйвер MetaX 3.8.1, SDK MACA 3.7.0.38.
Запуск через контейнер FlagOS-Metax и vLLM; веса доступны через ModelScope.
Лицензия Apache 2.0, веса происходят от Qwen3-VL.










Comments