К содержимому

Установка модели с LoRA одной командой

Найдите модель — языковую, для картинок и видео, робототехники или любую другую, — добавьте LoRA, сделанные для неё, выберите видеокарту. Внизу появится одна команда, которая всё поставит.

1. Модель

Готовые сборки ComfyUI

Для этих семей — официальные файлы Comfy-Org в нужной точности.

3. LoRA

Выбрано: 1

Отметьте нужные, до 12.

4. Видеокарта и точность

Точность

Чем меньше бит на вес, тем меньше памяти нужно и тем быстрее загрузка, но качество чуть ниже. Цифра на кнопке — сколько видеопамяти нужно.

Ваша команда

Языковая модель: запустится на vLLM с API как у OpenAI, все выбранные LoRA подключатся к серверу.

Нужно ≈ 28 GB видеопамяти, у вас 24 GB. Не влезает: выберите точность ниже или арендуйте карту побольше.

Подойдёт RTX A6000 на Massed Compute — $0.43 в час с купоном.Открыть Massed Compute
HF_TOKEN

В начале скрипта строки для токенов — вставьте свои между кавычками.

Hugging Face: одна из моделей закрыта (gated) — примите условия на её странице и создайте токен на huggingface.co/settings/tokens.

#!/usr/bin/env bash
# Qwen3.8-27B
# ===== Токены: вставьте свои между кавычками =====
export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
# ==========================================
# Драйвер NVIDIA: для CUDA 13 нужен 580+. Если старее или нет — ставится свежий nvidia-open (оставить свой: KEEP_DRIVER=1)
DRV=$(nvidia-smi --query-gpu=driver_version --format=csv,noheader 2>/dev/null | head -1 | cut -d. -f1)
case "$DRV" in ""|*[!0-9]*) DRV=0 ;; esac
if [ "$DRV" -lt 580 ] && [ -z "${KEEP_DRIVER:-}" ]; then
  . /etc/os-release && \
  curl -fsSLO "https://developer.download.nvidia.com/compute/cuda/repos/ubuntu${VERSION_ID//./}/x86_64/cuda-keyring_1.1-1_all.deb" && \
  sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -f cuda-keyring_1.1-1_all.deb && \
  sudo apt-get update && \
  sudo DEBIAN_FRONTEND=noninteractive apt-get install -y nvidia-open || \
  { echo "Драйвер NVIDIA поставить не удалось: смотрите ошибку выше. Чтобы оставить текущий, запустите с KEEP_DRIVER=1."; exit 1; }
  echo "Драйвер NVIDIA обновлён. Перезагрузите машину (sudo reboot) и запустите этот же скрипт ещё раз."
  exit 0
fi
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv venv ~/vllm --python 3.12 --allow-existing && source ~/vllm/bin/activate
uv pip install vllm
vllm serve Qwen/Qwen3.8-27B --max-model-len 8192 --quantization fp8 --enable-lora --max-loras 1 --max-lora-rank 64 --lora-modules cameronpyne-smith--maris-piper-bug-finder-qwen3.8-27b-lora=cameronpyne-smith/maris-piper-bug-finder-qwen3.8-27b-lora

Сервер слушает порт 8000 и понимает запросы в формате OpenAI: адрес http://localhost:8000/v1 на машине. Со своего компьютера: ssh -L 8000:localhost:8000 пользователь@IP-машины.