qwen3.5-4b-prune_width_ffn15_lora_kd
сжатая версия LLM с дистилляцией знаний
2 мин чтения
Эта модель представляет собой результат эксперимента по сжатию языка и дистилляции знаний (knowledge distillation, когда меньшая модель обучается повторять ответы более крупной «учительской» модели). За основу взята урезанная версия mrysh/qwen3.5-4b-prune_width_ffn15 с уменьшенной на 15% шириной MLP (многослойного перцептрона), для которой провели дообучение с помощью LoRA (небольшой настраиваемой надстройки над базовой моделью) на корпусе из 20 миллионов токенов. После обучения веса LoRA были слиты обратно в модель, поэтому на выходе получается обычный чекпоинт с уменьшенным размером на диске и архитектурой исходной урезанной модели. Модель пригодится исследователям и разработчикам, которые ищут более быстрые и компактные версии LLM для запуска на ограниченных ресурсах.
Ключевые особенности
- Дистилляция знаний: использовалась KL-дивергенция для приближения распределения токенов урезанной модели к оригинальной
Qwen/Qwen3.5-4B. - Обучение на качественных данных: задействованы тексты из FineWeb-Edu, диалоги OpenAssistant и специальные запросы из бенчмарков BFCL и MedQA.
- Сохраненный размер: весит 7.74 ГБ на диске (против 8.41 ГБ у оригинала) при идентичной структуре урезанной версии.
- Высокая скорость: скорость генерации на одном пользователе достигает 79.6 токенов в секунду на GPU L40 через vLLM.
Что можно сделать
- Интеграция в пайплайны: использовать модель в качестве более легкой замены базовой Qwen3.5-4B для текстовых задач.
- Тестирование функций: проверять качество работы с вызовом функций (function-calling) на базе бенчмарка BFCL.
- Запуск в сервисах: развернуть модель через vLLM для быстрого инференса в ботах и приложениях.
Пример
Загружайте модель стандартным образом, как базовую Qwen3.5-4B, учитывая измененную ширину слоев:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "mrysh/qwen3.5-4b-prune_width_ffn15_lora_kd"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)Подробнее
• Бенчмарки: BFCL (всего) — 86.4% (у оригинала 88.0%); MedQA — 61.5% (у оригинала 70.8%, у урезанной без дистилляции — 56.5%); Hiring bias — 81.9%.• Требования к железу: Размер на диске 7.74 ГБ, скорость 79.6 токенов/с (vLLM, L40).
• Детали обучения: LoRA (rank 64, alpha 128) на всех линейных слоях текстового декодера, 606 шагов оптимизатора, LR 0.0001 с косинусным затуханием.
• Ограничения: Тесты проводились с выключенным режимом thinking и greedy decoding, результаты показывают поведение на специфических датасетах обучения.










Комментарии