Gemma 4 31B IT

Инструктивно-донастроенная версия Gemma 4 31B: принимает текст и изображения, выдаёт текст. 60 слоёв, ~30.7B параметров, контекст до 256K токенов, словарь 262K, лицензия Apache 2.0. Вариант dense — MoE в семействе отдельный, 26B A4B.

✨ Ключевые особенности

• 👁 Понимание изображений: OCR (в том числе мультиязычный), разбор документов и PDF, графиков, интерфейсов, рукописного текста; переменные разрешение и соотношение сторон.
• ✨ Режим размышления: включается через enable_thinking=True, вывод разбирается функцией parse_response.
• 🤖 Нативный function calling под агентные сценарии плюс генерация, дополнение и правка кода.
• 💻 Гибридное внимание: локальное скользящее окно на 1024 токена чередуется с глобальным, в глобальных слоях — unified Keys/Values и p-RoPE.
• 🌍 Претрейн на 140+ языках, 35+ поддерживаются «из коробки»; нативная роль system.
• 📓 Видео обрабатывается как последовательность кадров; аудио у 31B нет — только у E2B, E4B и 12B.

💻 Пример

from transformers import AutoProcessor, AutoModelForMultimodalLM

MODEL_ID = "google/gemma-4-31B-it"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
    MODEL_ID, dtype="auto", device_map="auto"
)

Подробнее

Бенчмарки IT-версии: MMLU Pro 85.2%, GPQA Diamond 84.3%, AIME 2026 без инструментов 89.2%, LiveCodeBench v6 80.0%, Codeforces ELO 2150, MMMU Pro 76.9%.
31B ориентирован на потребительские GPU и рабочие станции, но конкретных требований к VRAM карточка не приводит.
Аудиовход есть только у E2B, E4B и 12B; у 31B — текст, изображения и видео по кадрам.