Qwen2.5-Coder-7B в 4 бита

Это 4-битная сборка Qwen/Qwen2.5-Coder-7B-Instruct на 7,62 млрд параметров: 28 слоёв и 196 линейных слоёв. Автор упаковал 255 из 255 тензоров в uint8-нибблы с fp16-масштабами, а lm_head, embed_tokens и нормы оставил в BF16.

✨ Ключевые особенности

• 📉 Архив занимает 5 385,8 MiB против 14,18 GiB у upstream BF16 — в 2,70 раза меньше.
• 🦾 Линейные веса сжаты до 3 306,0 MiB, токенные таблицы и нормы — 2 079,8 MiB.
• ✅ Три режима загрузки: low_vram_4bit, triton_4bit с fused LUT-GEMM и unrolled_bf16.
• 💥 SQNR упакованного файла относительно upstream — 19,28 dB; доля точных нулей — 13,59%.
• 😎 В сравнении кристаллизатора на исходных весах v2 даёт perplexity 16,317 против 14,995 у BF16.

😎 Пример

Загрузка через phi_loader.py в режиме с деквантизацией внутри каждого линейного слоя:

from huggingface_hub import hf_hub_download
import importlib.util, torch
repo_id = "ununununununununununununununununununun/qwen2.5-coder-7b-instruct-phi-lattice-v2"
p = hf_hub_download(repo_id=repo_id, filename="phi_loader.py")
spec = importlib.util.spec_from_file_location("phi_loader", p)
phi_loader = importlib.util.module_from_spec(spec); spec.loader.exec_module(phi_loader)
model = phi_loader.load_qwen25_coder_from_packed_4bit(repo_id=repo_id, mode="low_vram_4bit", device="cuda", dtype=torch.bfloat16)

Подробнее

Perplexity: 16,317 у phi-lattice v2 против 14,995 у BF16; SQNR упакованного файла — 19,28 dB; точных нулей — 13,59%.
Архив — 5 385,8 MiB; для triton_4bit нужен CUDA и phi_lut_gemm.py.
В карточке нет результатов MMLU/GSM8K/IFEval/HellaSwag — только скрипт run_text_evals.py.
Условие: K % 64 == 0 для каждого квантизованного слоя.