Gemma 4 26B A4B

В репозитории Virtudant-AI выложена версия Gemma 4 26B A4B — мультимодальной модели Google DeepMind для текста и изображений. Это MoE-вариант: 25,2 млрд параметров всего и 3,8 млрд активных, контекст до 256K токенов. Карточка отсылает к гайду Unsloth по запуску и файнтюнингу Gemma 4.

🧐 Ключевые особенности

• 🧐 MoE-архитектура: 128 экспертов, 8 активных и 1 shared; при инференсе активна лишь часть параметров.
• 👀 Понимает текст и изображения с поддержкой переменных соотношений сторон и разрешений; видео анализирует через последовательность кадров.
• 🔥 Контекст до 256K токенов; гибридное внимание чередует local sliding window и global attention, в глобальных слоях — unified Keys/Values и p-RoPE.
• 🤔 Configurable thinking mode и нативная поддержка system prompt.
• 🚀 Function calling, генерация/дополнение/исправление кода, 35+ языков «из коробки» после претрейна на 140+.
• 💯 Лицензия Apache 2.0.

🚀 Пример

from transformers import AutoProcessor, AutoModelForCausalLM

MODEL_ID = 'google/gemma-4-26B-A4B-it'
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID, dtype='auto', device_map='auto'
)

Подробнее

MMLU Pro — 82.6%, AIME 2026 без инструментов — 88.3%, LiveCodeBench v6 — 77.1%.
Модель рассчитана на consumer GPU и рабочие станции; активных параметров 3.8B при 25.2B общих.
HLE без инструментов — 8.7% против 19.5% у 31B. Лицензия Apache 2.0.