CoServe Review Flash Next
мультимодальная FP8-модель на 180B для агентов и ризонинга
2 min read
CoServe Review Flash Next — это версия крупной мультимодальной модели от CoServe AI на 180 млрд параметров, подготовленная для эффективного развёртывания в продакшене. Она принимает на вход текст и изображения, умеет строить цепочки рассуждений (reasoning) и вызывать внешние инструменты (tool calling), а на выходе выдаёт текстовые ответы. В основе лежит архитектура Qwen4ExpForConditionalGeneration типа MoE (Mixture-of-Experts — архитектура, где для каждого токена активируется лишь часть экспертных блоков), при этом веса маршрутизируемых экспертов переведены в формат FP8 E4M3 без дополнительного дообучения. Модель пригодится командам, которым нужна мощная VLM с длинным контекстом и экономией видеопамяти при инференсе.
Ключевые особенности
- Мультимодальность и длинный контекст: принимает текст и изображения, поддерживая окно до 262 144 токенов.
- Выборочное квантование FP8: веса routed-экспертов хранятся в
FP8 E4M3с блочным масштабированием 128×128 и динамическим квантованием активаций, а внимание, общие эксперты, энкодер зрения и PLE-эмбеддинги сохраняют исходную точность. - Настраиваемый ризонинг: поддерживает уровни глубины рассуждений
low,mediumиxhigh, а также полное отключение режима мышления через шаблон чата. - Работа с инструментами: поддерживает автоматический вызов функций (tool calling) с парсером
qwen3_coderи API, совместимый с OpenAI Chat Completions.
Что можно сделать
- Агентские пайплайны: подключить модель по OpenAI-совместимому API к автономным агентам, которым нужно анализировать интерфейсы или документы и вызывать внешние инструменты.
- Анализ больших объёмов данных: загружать длинные тексты в связке с изображениями в контекст до 262K токенов для сложных задач с многошаговыми рассуждениями.
Пример
vllm serve hongzhuyi/coserve-review-flash-next \
--served-model-name coserve-review-flash-next \
--tensor-parallel-size 8 --enable-expert-parallel \
--moe-backend triton --engram-config '{"cpu_offload":true}' \
--max-model-len 262144 --enable-auto-tool-choice \
--tool-call-parser qwen3_coder --reasoning-parser qwen3 \
--default-chat-template-kwargs '{"reasoning_effort":"xhigh"}'
Подробнее
Конфигурация запуска из карточки рассчитана на vLLM 0.32.0 и 8 видеокарт NVIDIA H20 сgpu-memory-utilization 0.85.PLE-эмбеддинги хранятся в BF16, для них рекомендуется выгрузка в оперативную память (CPU offload).
Конвертация меняет только точность хранения весов без дополнительного файнтюнинга; распространяется под лицензиями LICENSE и LICENSE-QWEN.










Comments