Gemma 4 26B A4B VQ GGUF

Релиз от Jlfn: текстовый вариант Gemma 4 26B A4B в трёх независимых GGUF-частях семейства VQ. Заявлен нативный контекст 262 144 токена, архитектура gemma4_vq версии 2, 30 слоёв и MoE на 128 экспертов с top-8. Общий размер — 10 686 852 608 байт (9.95 GiB).

⚙ Ключевые особенности

• 📌 Три части: trunk 8.00 GiB (резидентная), BF16-таблица токенов 1.38 GiB (читается строками с SSD) и опциональный MTP drafter 0.58 GiB.
• 🧳 Роутед-эксперты упакованы в 8-мерный VQ: 13-битный основной индекс и 8-битный residual; с кодбуками — 2.6388 бита на вес эксперта.
• ⚙ Остальные веса trunk: Q4_K, Q8_0 и BF16; среднее по trunk — 2.7993 бита на логический вес.
• 🔎 Токенизатор и chat template встроены в trunk; словарь — 262 144 токена.
• 🚫 Это не обычный GGUF: стандартные llama.cpp, Ollama и Transformers его не читают — нужен рантайм с поддержкой gemma4_vq v2.

💻 Пример

Точка входа — release.json: он перечисляет trunk (обязательный, резидентный), embedding (обязательный, построчное чтение с SSD) и mtp (опциональный). Сначала нужен рантайм, реализующий формат gemma4_vq v2; затем проверьте загрузку по files.json и запускайте модель с нативным контекстом до 262 144 токенов.

Подробнее

Бенчмарки, perplexity и замеры качества в карточке не заявлены.
Общий размер — 9.95 GiB; резидентная часть — 8.00 GiB trunk.
Артефакт только текстовый: vision tower и audio-часть не включены, хотя config.json объявляет vision config и audio-поля.
Лицензионного файла нет; действует лицензия исходного чекпоинта.