Geode · Ternary Bonsai 2 4B
мультимодальная Qwen3.5 для Android
2 min readupdated
Пакет весов для локального запуска мультимодальной нейросети прямо на Android-смартфоне без облака и регистрации через приложение Geode. В основе лежит PrismML Ternary Bonsai 2 4B — версия модели Qwen3.5-4B с тернарными весами (каждый вес принимает значения -1, 0 или +1 со скейлом на группу из 64 элементов), благодаря чему модель на 4 млрд параметров занимает всего 1.7 ГБ вместе с визуальным модулем. Сборка использует гибридную архитектуру Gated DeltaNet + attention, понимает изображения и поддерживает слой MTP (Multi-Token Prediction, предсказание сразу нескольких токенов для ускорения генерации). Подойдёт владельцам современных смартфонов на базе Android, которым нужен быстрый автономный ассистент с поддержкой картинок.
Ключевые особенности
- Прямое чтение тернарных кодов PrismML (2-битные коды + fp16 скейл) без переквантования, с 8-битными слоями MTP и энкодером изображений.
- Аппаратное ускорение: NPU (нейропроцессор) обрабатывает входящий промпт, а центральный процессор генерирует ответ.
- Полное совпадение топового токена (100%) по сравнению с оригинальным GGUF в llama.cpp на CPU при минимальном расхождении KL (0.00002 на коде).
- Собственный формат упаковки Geode с конфигурацией
geode.jsonи словарёмdraft_vocab.binдля черновиков MTP.
Что можно сделать
- Запускать полноценный текстовый чат полностью в офлайне на смартфоне с Android 11 и выше.
- Анализировать изображения на устройстве без отправки фотографий на сторонние серверы.
- Использовать спекулятивное декодирование через слой MTP, чтобы повысить скорость генерации ответа до 42 токенов/с.
Пример
Модель не совместима с GGUF и другими рантаймами — она загружается напрямую внутри Android-приложения Geode: откройте раздел Models → Download from Hugging Face и укажите Maximilian228/Geode-Ternary-Bonsai-2-4B.
Подробнее
Скорость на Snapdragon 8 Elite (RedMagic, промпт 293 токена / ответ 160 токенов): 244–321 ток/с на чтении промпта через NPU и 27–42 ток/с при генерации ответа с включённым MTP (25–32 ток/с без MTP).Размер пакета T2: 1.7 ГБ (1.26 GiB языковая часть + 0.34 GiB визуальный энкодер), потребление ОЗУ при работе — около 2.4 ГБ.
Системные требования: Android 11+, 64-битный процессор ARMv8.2 (с инструкциями dot-product) и от 6 ГБ оперативной памяти.
Лицензия: Apache-2.0.










Comments