Qwen3.8-Flash-Next-exl3-4.05bpw
квантованное превью архитектуры Qwen4
2 min readupdated
Перед вами квантованная версия (EXL3, 4.05 бита на вес) экспериментальной мультимодальной модели Qwen3.8-Flash-Next от команды Qwen, подготовленная автором andrevp. Модель работает с текстом и изображениями (Causal Language Model с Vision Encoder) и демонстрирует архитектуру будущего поколения Qwen4. При общем объёме в 125B параметров (плюс 51B параметров N-gram эмбеддингов и 4B MTP) при генерации одного токена активируется всего 6B параметров благодаря схеме MoE (Mixture of Experts — разреженная архитектура, где для каждого токена включается лишь малая часть нейросети). По сравнению с обычными плотными моделями она заметно быстрее обрабатывает длинный контекст и поддерживает окна до 1 000 000 токенов. Релиз пригодится разработчикам агентов, программистам и энтузиастам локального запуска крупных VLM на GPU с ограниченной видеопамятью.
Ключевые особенности
- Гибридное внимание с Qwen Sparse Attention (QSA) и Gated DeltaNet: обработка идёт на уровне микроблоков, что сильно снижает задержки на длинном контексте в агентских задачах.
- N-gram Embedding (51B параметров): индексация биграммами и триграммами позволяет масштабировать знания модели с меньшими затратами вычислений и удобной выгрузкой из видеопамяти.
- Разреженная MoE-архитектура: из 512 экспертов для каждого токена активируются только 10 маршрутизируемых и 1 общий (итого 6B активных параметров).
- Мультимодальность и сверхдлинный контекст: встроенный Vision Encoder для понимания изображений и окно 262 144 токена нативно с расширением до 1 000 000 токенов.
- Квантование EXL3 (4.05bpw): сжатие весов до ~4 бит на параметр делает запуск крупной 125B-модели доступнее на локальном железе.
Что можно сделать
- Поднять локального агента для программирования и работы с большими репозиториями благодаря высоким результатам в агентском кодинге и контексту до 1M токенов.
- Анализировать длинные документы, скриншоты интерфейсов и изображения в мультимодальном режиме через локальный сервер инференса.
- Использовать в автоматизированных пайплайнах и чат-ботах, где важен быстрый отклик при большом объёме истории диалога.
Пример
В карточке репозитория не приведён готовый сниппет для запуска квантованной EXL3-сборки. Типовой сценарий использования: загрузить веса в движок инференса с поддержкой формата EXL3 (например, ExLlamaV3 / TabbyAPI), подать на вход изображение вместе с технической документацией или кодовой базой (до 262K–1M токенов) и получить разбор задачи или патч для репозитория.
Подробнее
Бенчмарки оригинала Qwen3.8-Flash-Next: SWE-bench Multilingual — 81.0, SWE-bench Pro — 62.5, DeepSWE 1.1 — 58.7.Архитектура: 48 слоёв, 512 экспертов (10 routed + 1 shared), 1 слой MTP (Multi-Token Prediction) для ускорения генерации.
Примечание: в метаданных репозитория указано 33.83B параметров (с учётом сжатия EXL3), оригинальная модель содержит 125B основных + 51B N-gram + 4B MTP параметров.
Управляемая облачная версия с встроенными инструментами доступна в Qwen Cloud под названием Qwen3.8-Flash.










Comments