Qwen3-8B-24SST-Sparse-AdamW
Qwen3-8B, у которой оставили половину весов
2 min readupdated
Это разреженная версия Qwen3-8B: в каждой группе из четырёх весов остаются только два ненулевых. Модель не просто обрезали — её дообучали методом 24SST dynamic sparse training на OpenWebText, чтобы оставшиеся веса адаптировались. Архитектура та же: 36 слоёв, hidden size 4096, 32 attention heads и 8 KV heads. На выходе — генератор текста на базе Qwen3-8B, который на GPU с sparse tensor cores (NVIDIA Ampere и новее) может работать быстрее и занимать меньше места. Пригодится тем, кто запускает Qwen3-8B локально и хочет проверить 2:4-разреженность на своём железе.
Ключевые особенности
- 2:4 semi-structured sparsity: не больше двух ненулевых весов на каждые четыре подряд.
- На железе со sparse tensor cores — примерно в 2 раза быстрее matrix multiplies за счёт пропуска нулей.
- Примерно в 1,8 раза меньше хранение весов: 2 значения плюс 2 компактных 2-битных индекса вместо 4 полных значений.
- Не one-shot pruning: разреженную сеть переобучали, чтобы сохранить больше качества плотной модели.
- База — Qwen/Qwen3-8B, 36 слоёв, hidden size 4096, 32 attention heads, 8 KV heads.
Что можно сделать
- Запустить генерацию текста через transformers по примеру из карточки и проверить скорость на Ampere или новее.
- Использовать как замену Qwen3-8B в экспериментах, где важны память и скорость, если ваш рантайм умеет 2:4 sparsity.
- Сравнить ответы с плотной Qwen3-8B на своих промптах: в карточке нет бенчмарков качества.
- Изучить поведение 24SST dynamic sparse training на практике — модель обучена на OpenWebText с оптимизатором AdamW.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"SparseMindAI/qwen3-8b-24sst-sparse-adamw",
torch_dtype="auto"
)
tokenizer = AutoTokenizer.from_pretrained("SparseMindAI/qwen3-8b-24sst-sparse-adamw")
Подробнее
База: Qwen/Qwen3-8B, 36 слоёв, hidden size 4096, 32 attention heads, 8 KV heads.Разреженность: 2:4 semi-structured; обучение — CHTsnm dynamic sparse training (24SST) на OpenWebText, оптимизатор AdamW.
Заявлено ускорение matrix multiplies ~2× и хранение весов ~1,8× меньше на подходящем железе.
Бенчмарков качества и требований к VRAM в карточке нет.










Comments