ThinkingCap Gemma-4 26B-A4B MiniPlus
GGUF-квант на 12 ГиБ
1 min read
Это GGUF-квант модели bottlecapai/ThinkingCap-gemma-4-26B-A4B-it от IsValorum в серии APEX. Архитектура gemma4, задача image-text-to-text; вариант MiniPlus занимает 12.03 GiB. Рядом выпущен NanoPlus на 9.92 GiB.
Ключевые особенности
- Серия APEX: послойное квантование с аудитом по физическому GGUF и отдельной картой тензоров.
- MiniPlus — 12.03 GiB; NanoPlus — 9.92 GiB, оба варианта в одной линейке.
- Attention-проекции в Q4_K и Q6_K, dense FFN — в Q5_K и Q5_1.
- Routed experts квантованы в IQ3_XXS, Q3_K, IQ4_NL и Q5_0.
- Нормировки, routing/indexer и rope_freqs оставлены в F32; использован iMatrix от базового GGUF.
Пример
Сценарий: локальный image-text-to-text инференс через GGUF-совместимый раннер. Готового кода запуска в карточке нет, но приведена полная карта квантования и файл tensor-map.tsv.
Подробнее
Базовая модель: bottlecapai/ThinkingCap-gemma-4-26B-A4B-it.Размер MiniPlus: 12.03 GiB; NanoPlus: 9.92 GiB.
Квантование: Q4_K/Q5_K/Q5_1/Q6_K для attention и FFN, IQ3_XXS/Q3_K/IQ4_NL/Q5_0 для routed experts.
Нормировки, routing/indexer и rope_freqs — F32.
Бенчмарков и требований к VRAM в карточке нет.










Comments