ThinkingCap Gemma-4 26B-A4B MiniPlus

Это GGUF-квант модели bottlecapai/ThinkingCap-gemma-4-26B-A4B-it от IsValorum в серии APEX. Архитектура gemma4, задача image-text-to-text; вариант MiniPlus занимает 12.03 GiB. Рядом выпущен NanoPlus на 9.92 GiB.

💻 Ключевые особенности

• 🔥 Серия APEX: послойное квантование с аудитом по физическому GGUF и отдельной картой тензоров.
• 💻 MiniPlus — 12.03 GiB; NanoPlus — 9.92 GiB, оба варианта в одной линейке.
• 📱 Attention-проекции в Q4_K и Q6_K, dense FFN — в Q5_K и Q5_1.
• 🧘‍♀ Routed experts квантованы в IQ3_XXS, Q3_K, IQ4_NL и Q5_0.
• 📚 Нормировки, routing/indexer и rope_freqs оставлены в F32; использован iMatrix от базового GGUF.

📷 Пример

Сценарий: локальный image-text-to-text инференс через GGUF-совместимый раннер. Готового кода запуска в карточке нет, но приведена полная карта квантования и файл tensor-map.tsv.

Подробнее

Базовая модель: bottlecapai/ThinkingCap-gemma-4-26B-A4B-it.
Размер MiniPlus: 12.03 GiB; NanoPlus: 9.92 GiB.
Квантование: Q4_K/Q5_K/Q5_1/Q6_K для attention и FFN, IQ3_XXS/Q3_K/IQ4_NL/Q5_0 для routed experts.
Нормировки, routing/indexer и rope_freqs — F32.
Бенчмарков и требований к VRAM в карточке нет.