decisio Gemma 4 31B vision weights
весы зрения для Gemma 4 на Apple Silicon
2 min readupdated
Это выделенный визуальный энкодер (модуль обработки изображений) от модели google/gemma-4-31B-it от tachara-ai, предназначенный для локального сервера decisio на чипах Apple Silicon. При конвертации моделей в формат MLX (фреймворк Apple для машинного обучения) часто сохраняется только текстовая часть, из-за чего нейросеть теряет способность «видеть» картинки. Этот пакет возвращает поддержку изображений, позволяя подключать один и тот же файл весов к базовой модели и любым её текстовым файнтюнам, так как при дообучении визуальная часть обычно не меняется.
Ключевые особенности
- Побитовая копия оригинала: файл
vision.safetensorsобъёмом 1.15 ГБ (356 тензоров в форматеbf16) без изменений перенесён изgoogle/gemma-4-31B-itи содержит 27-слойный энкодер и проекцию. - Автоматическая загрузка: при запуске сервера с флагами
--backend mlx --images ondecisio сам скачивает весы, проверяет контрольную сумму sha256 и объединяет их с языковой частью. - Универсальность для файнтюнов: одного набора весов хватает и для оригинальной Gemma 4 31B, и для любых дообученных версий на её базе.
- Полная автономность: в репозиторий включён
vision_config.jsonс конфигурацией и ID токенов изображений, что позволяет запускать модель полностью офлайн.
Что можно сделать
- Вернуть поддержку анализа изображений у MLX-сборок
gemma-4-31B-itи её производных на компьютерах Mac с Apple Silicon. - Развернуть локальный офлайн-сервер с поддержкой визуальных запросов без повторного скачивания весов для каждого нового файнтюна.
Пример
# Автоматическая загрузка весов при запуске сервера
decisio --backend mlx --images on
# Запуск в офлайн-режиме с локальным файлом
decisio --backend mlx --images on --vision-weights PATHПодробнее
Базовая модель: google/gemma-4-31B-it (ревизия 842da3794eaa0b77d5f08bae87a17459d91ff475)Размер и состав: 1.15 ГБ (bf16), 356 тензоров, 27 слоёв энкодера, манифест контрольных сумм vision_manifest.json
Лицензия: Apache 2.0 (наследуется от исходной модели Google)










Comments