seclx-business-models
набор MLX-моделей на базе Qwen3 для Apple Silicon
2 min readupdated
Коллекция из двух квантованных моделей (сжатых для экономии памяти) для локального AI-шлюза seclx, который работает на чипах Apple Silicon через фреймворк MLX и предоставляет OpenAI-совместимый API. В набор входят лёгкая qwen3.5-9b-4bit (4.7 ГБ) для простых задач и основная mtplx-qwen3.8-27b-op4bit (19 ГБ) со смешанной точностью и механизмом MTP (спекулятивным декодированием для ускорения генерации). Репозиторий избавляет от необходимости держать в памяти тяжёлую модель ради мелких запросов: шлюз подгружает нужную модель по требованию и выгружает её при простое. Пригодится владельцам Mac с большим объёмом объединённой памяти, которым нужен быстрый локальный сервер для текста и генеративных пайплайнов.
Ключевые особенности
- Два уровня нагрузки:
qwen3.5-9b-4bit(4.501 бит на вес, 4.7 ГБ) закрывает простые вопросы, улучшение промптов для картинок/видео/аудио и извлечение структурных данных, не будя основную модель. - Умное квантование старшей модели:
mtplx-qwen3.8-27b-op4bitиспользует 4-bit для основы, но сохраняет 8-bit для эмбеддингов,lm_head,linear_attn.out_projи последних 8 слоёв MLP, а роутер экспертов не квантуется вовсе. - Спекулятивное декодирование (MTP): черновой блок в формате
bf16с глубиной 3 ускоряет генерацию с коэффициентом принятия токенов 0.959 / 0.873 / 0.759 по шагам. - Удобная загрузка: утилита
seclxскачивает веса черезaria2с докачкой, проверкой SHA256 и фильтрацией файлов через--include/--exclude.
Что можно сделать
- Развернуть локальный OpenAI-совместимый сервер на Mac для чатов, ботов и рабочих скриптов с автоматической выгрузкой моделей из памяти в простое.
- Использовать лёгкую модель
aux(9B) как быстрый препроцессор для автоматического расширения коротких промптов перед генерацией изображений, видео или речи. - Запускать сложные текстовые и рассуждающие задачи на 27B-версии с высокой скоростью генерации без заметной деградации качества на глубоких слоях.
Пример
pip install seclx
seclx model pull kn1ghtc/seclx-business-models --dir ~/.seclx/models
seclx up --config configs/seclx.yamlПодробнее
Скорость на Apple M5 Ultra (103 ГБ памяти): для 9B-модели холодный старт занимает 3.8 с, горячий запрос — 0.54 с (в памяти занимает 5.7 ГБ).Скорость 27B-модели: 110 tok/s на контексте ~200 токенов и 111 tok/s на ~4k токенов в один поток (при росте параллельных запросов общая пропускная способность не увеличивается).
Ограничения: на 9B отключён режим рассуждений (
reasoning_effort=off), чтобы цепочки мыслей не ломали формат при улучшении промптов.Лицензия: наследует условия оригинальных моделей серии Qwen (Apache-2.0), дообучение весов не проводилось.










Comments