gemma-4-E2B-it-gf5
экспериментальная GF(5)-квантизация для Gemma 4
2 мин чтенияобновлено
Это экспериментальная версия модели google/gemma-4-E2B-it от пользователя neuralworm, сжатая с помощью редкого формата квантизации GF(5) — пятиричной системы с состояниями {−2, −1, 0, 1, 2}. Такой подход уменьшает объём весов на диске и снижает потребление видеопамяти с ~10 ГБ до ~4,4 ГБ. Чтобы модель не теряла стабильность полностью, автор применил гибридную схему: чувствительные слои (Attention-проекции и гейты) оставлены в точном формате bf16, а MLP и таблицы эмбеддингов упакованы в три остаточных уровня GF(5). Подойдёт исследователям и разработчикам, которым интересен разбор нестандартных форматов сжатия и написание кастомных ядер под Triton.
Ключевые особенности
- Гибридная архитектура сжатия: критически важные слои остаются в bf16, тогда как тяжёлые MLP-блоки и таблица Per-Layer-Embedding (4,7 ГБ) упакованы в 3-уровневый GF(5) и распаковываются построчно.
- Снижение требований к памяти: вес на диске сократился с 10,25 ГБ до 6,23 ГБ (в 1,64 раза), а потребление VRAM при загрузке и генерации упало примерно до 4,4 ГБ.
- Кастомные Triton-ядра: модель не запускается стандартным
AutoModel.from_pretrained, поэтому в репозиторий включены собственные модулиgf5_runtime.py,gf5_gemv.py(для декодинга) иgf5_gemm.py(для prefill). - Честные замеры артефактов: автор прямо указывает, что квантизация не является без потерь — при генерации встречаются склеенные слова и повторы, поэтому для продакшена лучше использовать оригинал в bf16.
Что можно сделать
- Изучить работу Triton-ядер: разобрать исходники
gf5_gemv.pyиgf5_gemm.pyдля понимания того, как реализуется распаковка 13 пятиричных значений изuint32на GPU. - Провести эксперименты с квантизацией: использовать готовый рантайм и манифест
gf5_manifest.jsonдля тестирования гибридных схем сжатия и сравнения скорости с режимом отладкиPX_GF5_NO_KERNEL=1. - Запустить на видеокарте с малым объёмом VRAM: протестировать поведение
gemma-4-E2B-itна GPU уровня RTX 2060 с потреблением около 4,4 ГБ памяти.
Пример
from transformers import AutoTokenizer
from gf5_runtime import load_gf5_model
tok = AutoTokenizer.from_pretrained("neuralworm/gemma-4-E2B-it-gf5")
model = load_gf5_model(".", device="cuda") # путь к локальному репозиториюПодробнее
Скорость на RTX 2060 (12 GB): Decode ~5 tok/s (против ~18 tok/s в bf16), Prefill ~150 tok/s (против ~1000 tok/s в bf16).Логит-паритет на 3 промптах: Cosine 0,997 / 0,997 / 0,999, совпадение Top-1 — 3/3, относительная L2-ошибка весов — 0,045.
Требования и ограничения: нужны PyTorch, Transformers, Safetensors, Triton и видеокарта с CUDA; при генерации возможны текстовые артефакты.










Комментарии