Zen 6 (27B)
1.58-битная мультимодальная VLM весом от 5,95 ГБ
2 min readupdated
Zen 6 (27B) — открытая мультимодальная и агентская языковая модель от Hanzo AI, Zen LM и Zoo Labs Foundation. Она обучена напрямую в тернарном (трёхзначном, 1.58-битном) пространстве весов с помощью QAT (обучения с учётом квантования) и ротации Адамара, что убирает выбросы активаций и позволяет сжать модель на 27 млрд параметров до 5,95–7,63 ГБ без потери точности полновесной версии. Внутри используется гибридная архитектура с чередованием блоков линейного внимания Gated-DeltaNet и обычного Grouped-Query Attention, а также визуальный проектор mmproj для работы с изображениями. Модель пригодится разработчикам локальных ИИ-агентов, игр и приложений, которым нужна компактная VLM/LLM с вызовом инструментов под лицензией Apache-2.0.
Ключевые особенности
- Экстремальная компактность: версия
PTQ1_0(1.75 bpw) занимает всего 5,95 ГБ, аPQ2_0(2.13 bpw) — 7,21 ГБ при полном объёме в 27B параметров. - Агентские навыки и MCP: умеет выполнять многошаговые вызовы инструментов (
fs,exec,code,git,test,hanzoи игровые движки), восстанавливаться после ошибок и воздерживаться от лишних вызовов. - Мультимодальность: в репозиторий входят визуальные проекторы
mmprojв форматах Q8_0 (629 МБ) и BF16 (931 МБ) для задач image-text-to-text. - Ускорение генерации: поддерживается спекулятивное декодирование через драфт-модель DFlash2 (2,06 ГБ, ускорение примерно в 2 раза), MTP и суффиксный автомат
SA_SPEC. - Гибкий запуск: нативно работает в
hanzo-engine(CUDA, Metal, ROCm, Vulkan, CPU), а вариантQ2_0совместим со стандартнымllama.cpp(версии b11556 и выше).
Что можно сделать
- Локальный агент-разработчик: подключить модель по OpenAI-совместимому API к рабочему пространству для чтения файлов, запуска юнит-тестов и работы с Git без отправки кода в облако.
- Бэкенд для игровых NPC: использовать в качестве движка диалогов и режиссёра сцен в играх (например, на Godot) — модель обучена строго соблюдать заданные разработчиком роли и формат JSON.
- Анализ изображений и документов: объединить основной GGUF-файл с проектором
mmprojдля локального распознавания и описания картинок на видеокартах с небольшим объёмом памяти.
Пример
# Скачивание и локальный запуск OpenAI-совместимого сервера на порту 36900
hanzo pull zenlm/zen6-gguf
hanzo engine serve zenlm/zen6-ggufПодробнее
Доступные кванты: PTQ1_0 (5,95 ГБ, 1.75 bpw), PQ2_0 (7,21 ГБ, 2.13 bpw), Q2_0 (7,63 ГБ, 2.25 bpw) + драфт DFlash2-Q8_0 (2,06 ГБ).Архитектура: гибрид Gated-DeltaNet (3x) и Grouped-Query Full Attention (1x) с MLP SwiGLU и ортонормальным базисом Сильвестра — Уолша — Адамара.
Обучение: Straight-Through Estimator (STE) QAT с гибридным оптимизатором Muon + AdamW.
Лицензия и атрибуция: Apache-2.0; сохранена атрибуция к Qwen (Alibaba Cloud), Bonsai-2 (Prism ML) и DFlash.










Comments