GALE 1-bit experts для DeepSeek-V4-Pro

Это переквантование routed-экспертов DeepSeek-V4-Pro в формат GALE 1-bit v4 с error-feedback в выходном пространстве. Пакет весит 257 ГБ и покрывает ~1,57 трлн параметров; в VRAM выходит ~1,39 бита/вес, на диске — 1,46. В комплекте сервер, который сам строит план под доступные GPU: от одной карты до узла, где все эксперты помещаются в память.

👀 Ключевые особенности

• 🍒 Эксперты: 61 слой × 384 эксперта, w1/w2/w3; sign bit под FWHT-1024, fp16 scale на блок 128 весов, 1% выбросов int4.
• 💪 Attention и shared experts на диске fp8, при загрузке и в VRAM — 4-bit; embedding/output head — fp16 на диске, head 4-bit в VRAM.
• 👀 Сервер сам выбирает full residency или tiered по свободной VRAM — конфиги под конкретную машину править не нужно.
• 😐 Prefix caching и KV reuse: повторный 1230-токенный промпт ускоряется с 464 с до 4,5–8 с.
• 🐾 Есть OpenAI-совместимый /v1/chat/completions и Ollama-style /api/chat, только текст; tool calling — отдельный bridge.

👉 Пример

git clone / download this repo, cd into it
pip install "torch>=2.5" triton transformers tokenizers fastapi uvicorn
ulimit -n 65536
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
python3 server/deepseek_v4pro_server_v2.py

Подробнее

На 2×3090 + 2×2080 Ti: tiered, 1,2–1,8 tok/s, загрузка ~100–130 с. На 4×A100-80GB: full residency, 2,02 tok/s, загрузка 179 с.
Качество: короткие ответы и небольшие функции, но длинные ответы теряют связность; модель плохо ставит EOS.
Triton-ядра — любая CUDA GPU, CPU-тир — x86 AVX2; на Apple Silicon и ARM как есть не работает.