Zen 6 Nano (9B)
сверхкомпактная тернарная 9B-модель для агентов и зрения
2 min readupdated
Zen 6 Nano (9B) от Hanzo AI, Zen LM и Zoo Labs Foundation — это открытая мультимодальная языковая модель на 9 миллиардов параметров с тернарными весами (1.58 бита, где значения сводятся к трём состояниям: -d, 0, +d). За счёт экстремального квантования и ротации выбросов в базисе Сильвестра-Уолша-Адамара (математическое преобразование, помогающее сохранить точность при сильном сжатии) 9B-модель занимает на диске всего от 2 до 2.68 ГБ в формате GGUF. В отличие от обычных сжатых моделей, её дообучали напрямую в тернарном пространстве весов (QAT), поэтому она сохраняет качество для многошагового вызова инструментов (tool calling) и работы с изображениями. Подойдёт разработчикам локальных ИИ-агентов, игровых NPC и тем, кому нужна быстрая мультимодальная модель под слабое железо или CPU.
Ключевые особенности
- Сверхмалый размер: основные сборки 9B-модели весят от 2.00 ГБ (
PTQ1_0, 1.75 бита на вес) до 2.56 ГБ (Q2_0), плюс доступны проекторы зренияmmproj(624–922 МБ). - Агентские навыки и MCP: поддерживает многошаговое выполнение
, обработку ошибок, отказ от лишнего вызова инструментов и работу сfs,exec,code,gitи игровыми движками. - Гибридная архитектура: сочетает блоки линейного внимания Gated-DeltaNet (3x) и классического Grouped-Query Attention (1x) с MLP на базе SwiGLU.
- Спекулятивное ускорение и совместимость: поддерживает
hanzo-engine(CUDA, Metal, ROCm, Vulkan, CPU) с MTP и DFlash2, а версияQ2_0работает вllama.cpp(начиная с b11556+). - Свободная лицензия: распространяется под Apache-2.0.
Что можно сделать
- Локальный бэкенд для игр: запускать через
hanzo upили OpenAI-совместимый API для управления персонажами (например, NPC в Godot) и игровыми событиями с соблюдением заданной роли. - Автономный агент для разработки: подключить через MCP-инструменты для чтения файлов, запуска тестов, работы с Git и извлечения структурированного JSON.
- Мультимодальный анализ на слабом железе: добавить файл
zen6-nano-9b-mmproj-Q8_0.gguf, чтобы модель распознавала изображения при минимальном расходе памяти.
Пример
from openai import OpenAI
client = OpenAI(base_url="[http://127.0.0.1:36900/v1](http://127.0.0.1:36900/v1)", api_key="hanzo-local")
resp = client.chat.completions.create(
model="zen6-nano",
messages=[{"role": "user", "content": "Check Cargo.toml and run the workspace unit tests."}],
tools=[{"type": "function", "function": {"name": "fs", "parameters": {"type": "object"}}}],
)
print(resp.choices[0].message)
Подробнее
Форматы весов GGUF:PQ2_0 (2.13 bpw, 2.42 ГБ), PTQ1_0 (1.75 bpw, 2.00 ГБ), Q2_0 (2.25 bpw, 2.56 ГБ).Доступны черновые модели для спекулятивного декодирования:
PQ2_0-MTP-Q8_0 (2.68 ГБ) и DFlash2-Q8_0 (1.57 ГБ).Обучение: дообучение в тернарном пространстве через STE QAT с гибридным оптимизатором Muon + AdamW.
Атрибуция: в NOTICE указаны Qwen (Alibaba Cloud), Bonsai-2 (Prism ML, Inc.) и DFlash / ProCreations.










Comments