Gemma-4-26B-A4B MAPLE

Это сжатый GGUF-контейнер Gemma 4 26B-A4B от AmSach, построенный методом MAPLE (Manifold-Activated Pruning of Latent Experts). Модель заточена под Python-программирование, синтез алгоритмов, структуры данных и формальные STEM-рассуждения; исходные 9.92 ГБ сжаты до 4.75 ГБ.

😎 Ключевые особенности

• 📝 Специализация: Python, синтез алгоритмов, структуры данных и формальные STEM-рассуждения.
• 🤔 MAPLE удаляет 80 «спящих» экспертов из 128 на каждом из 30 слоёв, оставляя 48 экспертов и 79.88% активной массы forward-pass.
• 👍 Контейнер 4.75 ГБ (IQ2_XXS): 10.95B физических параметров при 3.47 BPW и 1.48 эффективных бита на параметр относительно 25.6B базы.
• 😎 100% слоёв в VRAM на RTX 4050 6 ГБ: 45.4 tok/s и 22.0 мс/токен.
• 🫤 Пайплайн domain-agnostic: профилирование через llama-imatrix и сборка контейнера под свой корпус.

📝 Пример

llama-cli -hf AmSach/Gemma-4-26B-A4B-MAPLE-Sub5GB-GGUF -ngl 99 -c 2048 -n 512 --temp 0.4 --top-p 0.9 -r "<turn|>" -p "<|turn>user\nExplain Rayleigh scattering.\n<turn|>\n<|turn>model\n"

Подробнее

Бенчмарк на RTX 4050 6GB: 45.4 tok/s против 6.9 у базовой 128-expert (6.57x), 4.75 ГБ вместо 9.92 ГБ.
В VRAM: 4,820 MiB при контексте 2048, остаётся ~1.29 GiB запаса.
Сжатие: 48 из 128 экспертов на слой, 79.88% активной массы forward-pass.
Ограничение: заточен под Python/алгоритмы/STEM; мультиязычные и общие диалоговые эксперты удалены.