umt5-xxl-encoder-phi-lattice-v2

Это 4-bit упаковка UMT5EncoderModel из Wan-AI/Wan2.1-T2V-1.3B-Diffusers в формате phi-lattice v2. У энкодера 24 слоя, d_model=4096, d_ff=10240 и словарь 256384; линейные слои хранятся как uint8-нибблы с fp16-скейлами группы 64.

💻 Ключевые особенности

• 💻 168 линейных слоёв (4,630,511,616 весов) квантованы в uint8-нибблы + fp16-скейлы группы 64.
• 📓 На диске 4,349.61 MiB и столько же резидентно в low_vram_4bit против 21,670.55 MiB у FP32.
• 🔥 Линейные веса занимают 2,346.0 MiB — в 3.68x меньше, чем в BF16.
• ✅ Загрузка через phi_loader.py; есть режимы low_vram_4bit, unrolled_bf16 и triton_4bit на CUDA.
• 🧸 Tied token embedding остаётся BF16 — 2,002.72 MiB.

✨ Пример

import importlib.util
from huggingface_hub import hf_hub_download
repo_id = 'ununununununununununununununununununun/umt5-xxl-encoder-phi-lattice-v2'
loader_path = hf_hub_download(repo_id, 'phi_loader.py')
spec = importlib.util.spec_from_file_location('phi_loader', loader_path)
phi_loader = importlib.util.module_from_spec(spec)
spec.loader.exec_module(phi_loader)
encoder = phi_loader.load_umt5_from_packed_4bit(repo_id=repo_id, mode='low_vram_4bit')

Подробнее

SQNR относительно FP32 — 19.34 dB; точных нулей 570,201,211 (12.31%).
FP32-шарды занимают 21,670.55 MiB, упакованный файл — 4,349.61 MiB; в low_vram_4bit резидентно 4,349.48 MiB.
Режим unrolled_bf16 материализует полный BF16-энкодер, triton_4bit заменяет линейные слои на PhiLUTGemmLinear на CUDA.
Tied token embedding остаётся BF16 — 2,002.72 MiB.