Runforever/gemma-4-12B-it
мультимодальная модель без отдельных энкодеров
2 min readupdated
Инструктивная мультимодальная модель на 11,95 млрд параметров из семейства Gemma 4 от Google DeepMind (загружена пользователем Runforever). Она принимает текст, изображения, видео и аудио, а на выходе генерирует текстовые ответы, код или вызовы функций. Главная особенность версии 12B Unified — архитектура без отдельных энкодеров: сырые патчи картинок и звуковые волны проецируются напрямую в пространство эмбеддингов (векторных представлений) языковой модели, что снижает задержки и упрощает дообучение. Модель пригодится разработчикам локальных ассистентов, агентов и систем анализа документов или аудио.
Ключевые особенности
- Режим рассуждений (Thinking): пошагово обдумывает сложные задачи перед ответом, режим включается параметром
enable_thinking=True. - Нативная мультимодальность: понимает текст, фото любого соотношения сторон, видео (последовательности кадров) и речь (распознавание и перевод).
- Контекст 256K токенов: гибридное внимание (чередование локального окна и глобальных слоёв) позволяет обрабатывать длинные документы без лишнего расхода памяти.
- Мультиязычность: работает более чем на 35 языках из коробки (предобучена на 140+ языках).
- Поддержка агентов: нативно работает с системными промптами (роль
system) и вызовом внешних инструментов (Function Calling).
Что можно сделать
- Парсинг документов и экранов: извлекать данные из PDF, таблиц, графиков, рукописного текста и интерфейсов (OCR).
- Расшифровка и перевод аудио: распознавать речь и переводить её в текст на разных языках без подключения отдельных ASR-моделей.
- Автономные агенты и кодинг: писать, дополнять и исправлять код, а также строить ботов с вызовами API.
Пример
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL_ID = "Runforever/gemma-4-12B-it"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(MODEL_ID, dtype="auto", device_map="auto")
messages = [{"role": "user", "content": "Write a short joke about saving RAM."}]
inputs = processor.apply_chat_template(messages, tokenize=True, return_dict=True, return_tensors="pt", add_generation_prompt=True, enable_thinking=False).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=1024)
Подробнее
Бенчмарки: MMLU Pro — 77.2%, LiveCodeBench v6 — 72.0%, GPQA Diamond — 78.8%, MMMU Pro — 69.1%.Архитектура: 48 слоёв, словарь 262K токенов, скользящее окно 1024 токена, без отдельных vision/audio энкодеров.
Лицензия: Apache 2.0, библиотека transformers.










Comments