Gemma 4 26B A4B VQ GGUF
кастомная VQ-упаковка MoE-модели
2 min read
Релиз от Jlfn: текстовый вариант Gemma 4 26B A4B в трёх независимых GGUF-частях семейства VQ. Заявлен нативный контекст 262 144 токена, архитектура gemma4_vq версии 2, 30 слоёв и MoE на 128 экспертов с top-8. Общий размер — 10 686 852 608 байт (9.95 GiB).
Ключевые особенности
- Три части: trunk 8.00 GiB (резидентная), BF16-таблица токенов 1.38 GiB (читается строками с SSD) и опциональный MTP drafter 0.58 GiB.
- Роутед-эксперты упакованы в 8-мерный VQ: 13-битный основной индекс и 8-битный residual; с кодбуками — 2.6388 бита на вес эксперта.
- Остальные веса trunk: Q4_K, Q8_0 и BF16; среднее по trunk — 2.7993 бита на логический вес.
- Токенизатор и chat template встроены в trunk; словарь — 262 144 токена.
- Это не обычный GGUF: стандартные llama.cpp, Ollama и Transformers его не читают — нужен рантайм с поддержкой
gemma4_vqv2.
Пример
Точка входа — release.json: он перечисляет trunk (обязательный, резидентный), embedding (обязательный, построчное чтение с SSD) и mtp (опциональный). Сначала нужен рантайм, реализующий формат gemma4_vq v2; затем проверьте загрузку по files.json и запускайте модель с нативным контекстом до 262 144 токенов.
Подробнее
Бенчмарки, perplexity и замеры качества в карточке не заявлены.Общий размер — 9.95 GiB; резидентная часть — 8.00 GiB trunk.
Артефакт только текстовый: vision tower и audio-часть не включены, хотя
config.json объявляет vision config и audio-поля.Лицензионного файла нет; действует лицензия исходного чекпоинта.










Comments