Qwen3.8-23B-Cut-Heal
эксперимент по обрезке и лечению Qwen3.8-27B
2 min readupdated
Мультимодальная языковая модель, полученная путём прунинга (удаления части весов) из Qwen/Qwen3.8-27B с 27.3B до 23.2B параметров и последующей дистилляции от оригинала. Автор aqualaguna сузил слои FFN (полносвязные блоки внутри трансформера) на четверть, но оставил без изменений блок обработки изображений (vision tower), чтобы сэкономить видеопамять на картах с 32 ГБ VRAM. В отличие от оригинальной 27B-модели, эта версия весит на 15% меньше (24.7 ГБ против 29.05 ГБ в Q8_0), сохраняет почти 98% качества в базовых навыках, но заметно проседает в сложном олимпиадном программировании. Модель опубликована как открытый исследовательский отчёт о том, какие способности удаётся восстановить после обрезки, а какие теряются безвозвратно.
Ключевые особенности
- Сжатие на 15% с сохранением базы: сужение FFN с 17 408 до 13 312 во всех 64 блоках удержало средний балл по шести ключевым тестам (математика, вызов функций, логика, здравый смысл, пространственное мышление и клики по экрану) на уровне 97.8% от оригинала.
- Выше скорость генерации: в формате NVFP4 под vLLM модель выдаёт 91–97 tok/s на одной RTX 5090 против ~81 tok/s у исходной 27B-версии, освобождая около 25% места под KV-кэш.
- Честный разбор провалов: в сложном кодинге (LiveCodeBench) результат упал с 48 до 32 баллов (67% от базы), а знание фактов (PopQA) ожидаемо снизилось с 23 до 12.
- Готовые квантованные сборки: отдельно доступны варианты GGUF (Q8_0 с проектором для зрения) и NVFP4.
Что можно сделать
- Запускать локальных агентов с вызовами функций: в тесте glaive function calling модель набрала 92 балла (101% от оригинала) и сохранила 98% точности в распознавании элементов интерфейса (ScreenSpot-v2).
- Изучать эффекты прунинга и дистилляции: использовать веса и подробные таблицы замеров как ориентир при оптимизации крупных VLM-моделей под ограниченную память.
- Ускорять инференс на RTX 5090: применять сборку NVFP4 в vLLM там, где критична скорость генерации и размер KV-кэша, а не сложный алгоритмический код.
Пример
llama-server -m Qwen3.8-23B-Cut-Heal-Q8_0.gguf --jinja -ngl 99 -c 131072 \
--cache-type-k q8_0 --cache-type-v q8_0 --flash-attn on \
--chat-template-kwargs '{"reasoning_effort":"low"}'
Подробнее
Бенчмарки (Q8_0, reasoning effort low): GSM8K — 96 (было 98), HumanEval — 97 (было 100), LiveCodeBench — 32 (было 48), среднее по 6 защищённым навыкам — 90.7 против 92.7.Железо: целилась под 32 ГБ VRAM (RTX 5090) с контекстом 128k; сам автор отмечает, что оригинал Qwen3.8-27B в Q8_0 при настройке
--fit off тоже влезает в 32 ГБ (31.95 ГБ) со скоростью 50.8 tok/s.Ограничения: блок спекулятивного декодирования MTP обрезан, но не проходил дистилляцию; оценка проводилась только на английском языке; лицензия Apache-2.0.










Comments