Qwen3.8-27B Trim B7
облегчённая версия на 25.2B параметров без 7-го блока
2 мин чтенияобновлено
Это сжатая версия языковой модели Qwen3.8-27B, в которой физически удалён 7-й блок слоёв (слои с 28-го по 31-й), а последующие слои переиндексированы. За счёт такого прунинга (pruning — обрезка лишних частей нейросети) модель сократилась на 1.522B параметров — до 25.24B, сохранив работоспособность без незавершённых экспериментов по урезанию ширины FFN. В репозитории уже лежат готовые веса в форматах BF16 и квантованном GGUF Q4_K_M, который помещается в видеокарту с 24 ГБ VRAM. Модель пригодится тем, кто хочет запускать семейство Qwen3.8 локально с меньшими требованиями к памяти и ускоренным инференсом.
Ключевые особенности
- Удалено 1.522B параметров (3.044 ГБ тензоров в BF16), итоговый размер — 25.239B параметров и 60 основных слоёв (плюс один MTP-слой в GGUF).
- В комплекте есть готовый файл
qwen3.8-27b-trim-b7-q4_k_m.ggufвесом 15.324 ГБ, проверенный с полной выгрузкой на GPU RTX 3090 в llama.cpp. - Все 1 146 тензоров Hugging Face и размерности FFN прошли верификацию, а расхождение по функции потерь (loss) со стартовым прогоном не превышает 0.00108.
- Архитектура сочетает три слоя линейного внимания (linear-attention) с одним слоем полного внимания (full-attention), hidden size составляет 5 120.
Что можно сделать
- Развернуть локального ассистента для генерации и проверки кода на видеокарте уровня RTX 3090/4090 (24 ГБ VRAM) через llama.cpp в квантовании Q4_K_M.
- Использовать чекпоинт в формате HF BF16 (50.478 ГБ) как базу для дальнейшего файнтюнинга или продолжения исследований по сжатию слоёв.
Пример
llama-completion \
-m qwen3.8-27b-trim-b7-q4_k_m.gguf \
-p "17 + 25 =" -n 128 --temp 0 -ngl 99 -c 512 -t 6 -no-cnvПодробнее
Бенчмарк B7 hard-benchmark: 88/160 (код 40/40, математика 22/40, знания 14/40, вызов инструментов 12/40 против 13/40 у исправленной оригинальной модели).Железо и веса: GGUF Q4_K_M (15.324 ГБ) работает с полным GPU-оффлоадом на RTX 3090 (llama.cpp b12359); версии HF BF16 (50.478 ГБ, 18 шардов) и GGUF BF16 (49.567 ГБ) требуют более 50 ГБ памяти.
Детали: незаконченные чекпоинты с урезанием FFN на 10%, 20% и 30% в этот релиз не включены из-за нехватки вычислительных ресурсов.










Комментарии