К содержимому
Компьютерное зрение

Qwen3.8-23B-Cut-Heal

эксперимент по обрезке и лечению Qwen3.8-27B

2 мин чтенияобновлено

Мультимодальная языковая модель, полученная путём прунинга (удаления части весов) из Qwen/Qwen3.8-27B с 27.3B до 23.2B параметров и последующей дистилляции от оригинала. Автор aqualaguna сузил слои FFN (полносвязные блоки внутри трансформера) на четверть, но оставил без изменений блок обработки изображений (vision tower), чтобы сэкономить видеопамять на картах с 32 ГБ VRAM. В отличие от оригинальной 27B-модели, эта версия весит на 15% меньше (24.7 ГБ против 29.05 ГБ в Q8_0), сохраняет почти 98% качества в базовых навыках, но заметно проседает в сложном олимпиадном программировании. Модель опубликована как открытый исследовательский отчёт о том, какие способности удаётся восстановить после обрезки, а какие теряются безвозвратно.

Ключевые особенности

  • Сжатие на 15% с сохранением базы: сужение FFN с 17 408 до 13 312 во всех 64 блоках удержало средний балл по шести ключевым тестам (математика, вызов функций, логика, здравый смысл, пространственное мышление и клики по экрану) на уровне 97.8% от оригинала.
  • Выше скорость генерации: в формате NVFP4 под vLLM модель выдаёт 91–97 tok/s на одной RTX 5090 против ~81 tok/s у исходной 27B-версии, освобождая около 25% места под KV-кэш.
  • Честный разбор провалов: в сложном кодинге (LiveCodeBench) результат упал с 48 до 32 баллов (67% от базы), а знание фактов (PopQA) ожидаемо снизилось с 23 до 12.
  • Готовые квантованные сборки: отдельно доступны варианты GGUF (Q8_0 с проектором для зрения) и NVFP4.

Что можно сделать

  • Запускать локальных агентов с вызовами функций: в тесте glaive function calling модель набрала 92 балла (101% от оригинала) и сохранила 98% точности в распознавании элементов интерфейса (ScreenSpot-v2).
  • Изучать эффекты прунинга и дистилляции: использовать веса и подробные таблицы замеров как ориентир при оптимизации крупных VLM-моделей под ограниченную память.
  • Ускорять инференс на RTX 5090: применять сборку NVFP4 в vLLM там, где критична скорость генерации и размер KV-кэша, а не сложный алгоритмический код.

Пример

llama-server -m Qwen3.8-23B-Cut-Heal-Q8_0.gguf --jinja -ngl 99 -c 131072 \
  --cache-type-k q8_0 --cache-type-v q8_0 --flash-attn on \
  --chat-template-kwargs '{"reasoning_effort":"low"}'
ПодробнееБенчмарки (Q8_0, reasoning effort low): GSM8K — 96 (было 98), HumanEval — 97 (было 100), LiveCodeBench — 32 (было 48), среднее по 6 защищённым навыкам — 90.7 против 92.7.
Железо: целилась под 32 ГБ VRAM (RTX 5090) с контекстом 128k; сам автор отмечает, что оригинал Qwen3.8-27B в Q8_0 при настройке --fit off тоже влезает в 32 ГБ (31.95 ГБ) со скоростью 50.8 tok/s.
Ограничения: блок спекулятивного декодирования MTP обрезан, но не проходил дистилляцию; оценка проводилась только на английском языке; лицензия Apache-2.0.
Обсудить Telegram 0 11

Запустится ли?

Запустится в 4-bit

Полная точность не влезет, но сжатая версия поместится — качество почти не страдает до 8 бит, заметнее на 4 битах.

  • BF16веса 44 GB · готовые файлы49 GB
  • FP8 / INT8рекомендуемвеса 22 GB25 GB
  • 4-bitвеса 12 GB14 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # aqualaguna/Qwen3.8-23B-Cut-Heal
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download aqualaguna/Qwen3.8-23B-Cut-Heal --local-dir ~/models/Qwen3.8-23B-Cut-Heal
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Qwen3.8-23B-Cut-Heal
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

Qwen/Qwen3.8-27B

Новые посты про версии Qwen3.8-27B — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 2Все на Hugging Face

О модели

aqualaguna/Qwen3.8-23B-Cut-Heal
Автор
aqualaguna
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

110

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии