Коллекция из двух квантованных моделей (сжатых для экономии памяти) для локального AI-шлюза seclx, который работает на чипах Apple Silicon через фреймворк MLX и предоставляет OpenAI-совместимый API. В набор входят лёгкая qwen3.5-9b-4bit (4.7 ГБ) для простых задач и основная mtplx-qwen3.8-27b-op4bit (19 ГБ) со смешанной точностью и механизмом MTP (спекулятивным декодированием для ускорения генерации). Репозиторий избавляет от необходимости держать в памяти тяжёлую модель ради мелких запросов: шлюз подгружает нужную модель по требованию и выгружает её при простое. Пригодится владельцам Mac с большим объёмом объединённой памяти, которым нужен быстрый локальный сервер для текста и генеративных пайплайнов.
Ключевые особенности
Два уровня нагрузки:qwen3.5-9b-4bit (4.501 бит на вес, 4.7 ГБ) закрывает простые вопросы, улучшение промптов для картинок/видео/аудио и извлечение структурных данных, не будя основную модель.
Умное квантование старшей модели:mtplx-qwen3.8-27b-op4bit использует 4-bit для основы, но сохраняет 8-bit для эмбеддингов, lm_head, linear_attn.out_proj и последних 8 слоёв MLP, а роутер экспертов не квантуется вовсе.
Спекулятивное декодирование (MTP): черновой блок в формате bf16 с глубиной 3 ускоряет генерацию с коэффициентом принятия токенов 0.959 / 0.873 / 0.759 по шагам.
Удобная загрузка: утилита seclx скачивает веса через aria2 с докачкой, проверкой SHA256 и фильтрацией файлов через --include / --exclude.
Что можно сделать
Развернуть локальный OpenAI-совместимый сервер на Mac для чатов, ботов и рабочих скриптов с автоматической выгрузкой моделей из памяти в простое.
Использовать лёгкую модель aux (9B) как быстрый препроцессор для автоматического расширения коротких промптов перед генерацией изображений, видео или речи.
Запускать сложные текстовые и рассуждающие задачи на 27B-версии с высокой скоростью генерации без заметной деградации качества на глубоких слоях.
Пример
pip install seclx
seclx model pull kn1ghtc/seclx-business-models --dir ~/.seclx/models
seclx up --config configs/seclx.yaml
ПодробнееСкорость на Apple M5 Ultra (103 ГБ памяти): для 9B-модели холодный старт занимает 3.8 с, горячий запрос — 0.54 с (в памяти занимает 5.7 ГБ). Скорость 27B-модели: 110 tok/s на контексте ~200 токенов и 111 tok/s на ~4k токенов в один поток (при росте параллельных запросов общая пропускная способность не увеличивается). Ограничения: на 9B отключён режим рассуждений (reasoning_effort=off), чтобы цепочки мыслей не ломали формат при улучшении промптов. Лицензия: наследует условия оригинальных моделей серии Qwen (Apache-2.0), дообучение весов не проводилось.
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# kn1ghtc/seclx-business-models — A30, FP8 / INT8
# Драйвер NVIDIA: для CUDA 13 нужен 580+. Если старее или нет — ставится свежий nvidia-open (оставить свой: KEEP_DRIVER=1)
DRV=$(nvidia-smi --query-gpu=driver_version --format=csv,noheader 2>/dev/null | head -1 | cut -d. -f1)
case "$DRV" in ""|*[!0-9]*) DRV=0 ;; esac
if [ "$DRV" -lt 580 ] && [ -z "${KEEP_DRIVER:-}" ]; then
. /etc/os-release && \
curl -fsSLO "https://developer.download.nvidia.com/compute/cuda/repos/ubuntu${VERSION_ID//./}/x86_64/cuda-keyring_1.1-1_all.deb" && \
sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -f cuda-keyring_1.1-1_all.deb && \
sudo apt-get update && \
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y nvidia-open || \
{ echo "Драйвер NVIDIA поставить не удалось: смотрите ошибку выше. Чтобы оставить текущий, запустите с KEEP_DRIVER=1."; exit 1; }
echo "Драйвер NVIDIA обновлён. Перезагрузите машину (sudo reboot) и запустите этот же скрипт ещё раз."
exit 0
fi
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv venv ~/vllm --python 3.12 && source ~/vllm/bin/activate
uv pip install vllm
vllm serve kn1ghtc/seclx-business-models --max-model-len 8192 --quantization fp8
Сервер слушает порт 8000 и понимает запросы в формате OpenAI: адрес http://localhost:8000/v1 на машине. Со своего компьютера: ssh -L 8000:localhost:8000 пользователь@IP-машины.
Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.
Как ускорить
Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.
Комментарии