Gemma 4 E4B IT QAT Q4_0

QAT-чекпоинт Gemma 4 E4B IT в формате unquantized Q4_0, выложенный heromann. Это half-precision веса, извлечённые из QAT-пайплайна Google DeepMind; база — google/gemma-4-E4B-it. Подходит для кастомной downstream-компиляции и исследований.

🍒 Ключевые особенности

• 🍒 Unquantized QAT Q4_0: half-precision веса из QAT-пайплайна, а не готовый GGUF или мобильный формат.
• 👀 E4B: 4.5B эффективных параметров (~8B с embeddings), вход — текст, изображения и аудио, выход — текст.
• 💪 Контекст 128K токенов, режим thinking, нативный system prompt и function calling.
• 🐾 Мультиязычность: предобучение на 140+ языках, out-of-the-box поддержка 35+ языков.
• 🤫 Для speculative decoding ассистент должен быть QAT-чекпоинтом той же точности.

👉 Пример

from transformers import AutoProcessor, AutoModelForMultimodalLM

MODEL_ID = "heromann/gemma-4-E4B-it-qat-q4_0-unquantized"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
    MODEL_ID, dtype="auto", device_map="auto"
)

Подробнее

MMLU Pro у E4B — 69.4%, AIME 2026 без инструментов — 42.5%, LiveCodeBench v6 — 52.0%.
Контекст 128K; E4B: 4.5B эффективных параметров (~8B с embeddings).
Это unquantized QAT-чекпоинт, не GGUF и не мобильный wNa8o8.
Лицензия Apache 2.0.