Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF
сжатая в 6 раз MoE-модель для кода с сохранением зрения
2 min readupdated
Исследователи из ISTA-DASLab выпустили специализированную версию мультимодальной модели Qwen3.8-Flash-Next (176.9B параметров), заточенную под программирование, работу с инструментами и анализ изображений. Авторы применили комбинированное сжатие: удалили ровно половину экспертов в архитектуре MoE (Mixture-of-Experts — сеть из множества специализированных подмоделей) и квантовали оставшиеся веса до 3.5 bpw (бит на параметр). В итоге модель уменьшилась с 354 ГБ в формате BF16 до 58.4 ГБ на диске, причём в оперативную или видеопамять достаточно загрузить лишь 29.6 ГБ основного шарда — остальное занимает таблица n-gram, которая может считываться напрямую с диска. Релиз пригодится разработчикам, желающим запускать мощную кодинговую и мультимодальную нейросеть локально на одном ускорителе с 32 ГБ памяти или через движок Strata на видеокартах от 8 ГБ VRAM.
Ключевые особенности
- Целевой прунинг экспертов: с помощью метода RCO из 512 экспертов в каждом из 48 слоёв оставили только 256 (на каждый токен по-прежнему активируются 10), отбирая именно те блоки, которые отвечают за код, агентские сценарии, зрение и пространственное мышление.
- Высокая плотность без просадки в коде: при эффективном битрейте 1.89 bpw на весь исходный трансформер модель сохраняет 100% точности базовой версии на бенчмарке LiveCodeBench v6 и 95.7% на SWE-bench Verified.
- Поддержка мультимодальности: в калибровочную выборку при отборе экспертов включили визуальные данные, благодаря чему модель не ослепла и сохранила способность распознавать изображения и генерировать сложную векторную графику (SVG).
- Разделение на два шарда GGUF: первый файл (29.6 ГБ) содержит веса трансформера, а второй (28.8 ГБ) — таблицу поиска n-gram в формате IQ4_NL (4.5 bpw), которую не обязательно держать в памяти.
Что можно сделать
- Локальный ассистент программиста: подключить модель через
llama.cppили движок Strata (с локальным OpenAI-совместимым API) для рефакторинга, написания алгоритмов и работы в автономных агентских циклах по репозиториям. - Анализ скриншотов и интерфейсов: подавать на вход изображения вместе с текстовыми запросами для генерации или отладки вёрстки и SVG-схем.
Пример
hf download ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF --local-dir .
llama-cli -m IQ1_M/Qwen3.8-Flash-Next-GSQ-RCO-IQ1_M-00001-of-00002.gguf \
-p "Refactor this function to be iterative." -ngl 99Подробнее
Метрики (при xhigh reasoning effort): SWE-bench Verified — 79.20 (против 82.80 у базы BF16), LiveCodeBench v6 — 87.43 (на уровне базы 87.43).Требования к памяти: 58.4 ГБ на диске (два обязательных шарда), 29.6 ГБ резидентной памяти; через сторонний движок Strata возможен запуск на одной видеокарте NVIDIA от 8 ГБ VRAM.
Ограничения: деградация качества в задачах общего назначения вне доменов кода, агентов и зрения является ожидаемым компромиссом метода; для универсальных задач авторы рекомендуют неурезанную версию GSQ-RCO.
Обновление от 17 октября 2026: уменьшено зацикливание генерации и улучшены показатели в коде (обновлён только первый шард).










Comments