Gemma-4-31B-Humanlike-Chat

LessThanThreeAI выложила BF16-файнтюн google/gemma-4-31B-it для текстовой генерации. У модели 31,27 млрд параметров, лицензия Apache-2.0, веса под vLLM, SGLang и transformers. Системный промпт не обязателен.

👀 Ключевые особенности

• 👀 Полные BF16 safetensors — это reference-версия, не квант.
• 🥰 Человекоподобный чат; база — официальная Gemma 4, модель не abliterated.
• 👉 Thinking выключен по умолчанию; включается через chat_template_kwargs: {"enable_thinking": true}, есть уровни reasoning effort low/high/medium.
• 💪 Поддержка vLLM 0.31.0, SGLang и transformers, включая tool calling и reasoning parser gemma4.
• 💰 Для меньшей VRAM есть FP8, GPTQ-Int4 и GGUF-варианты.
• 🐾 Лицензия Apache-2.0, унаследована от Gemma 4.

👉 Пример

vllm serve LessThanThreeAI/Gemma-4-31B-Humanlike-Chat --served-model-name humanlike-gemma \
  --max-model-len 16384 --language-model-only \
  --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4

Подробнее

BF16-веса занимают 57,8 GiB в vLLM; на RTX PRO 6000 Blackwell 96 GB при --gpu-memory-utilization 0.88 остаётся 22,7 GiB кэша (26 969 токенов).
Проверка: KL 0.0005 к reference, 0 ошибок на 5 тестовых чатах, decode 23 tok/s.
Сэмплинг по умолчанию: temperature 1.0, top_p 0.95, top_k 64.
Для меньшей VRAM есть FP8, GPTQ-Int4 и GGUF.