Установка модели с LoRA одной командой
Найдите модель — языковую, для картинок и видео, робототехники или любую другую, — добавьте LoRA, сделанные для неё, выберите видеокарту. Внизу появится одна команда, которая всё поставит.
1. Модель
Готовые сборки ComfyUI
Для этих семей — официальные файлы Comfy-Org в нужной точности.
Выбрана модель: HeliosLM HDL E4B
Выбрать другую модель3. LoRA
Под эту модель LoRA на сайте пока нет.
4. Видеокарта и точность
Точность
Чем меньше бит на вес, тем меньше памяти нужно и тем быстрее загрузка, но качество чуть ниже. Цифра на кнопке — сколько видеопамяти нужно.
Ваша команда
Языковая модель: запустится на vLLM с API как у OpenAI, все выбранные LoRA подключатся к серверу.
Нужно ≈ 8.7 GB видеопамяти, у вас 24 GB. Влезает.
#!/usr/bin/env bash
# HeliosLM HDL E4B
# Драйвер NVIDIA: для CUDA 13 нужен 580+. Если старее или нет — ставится свежий nvidia-open (оставить свой: KEEP_DRIVER=1)
DRV=$(nvidia-smi --query-gpu=driver_version --format=csv,noheader 2>/dev/null | head -1 | cut -d. -f1)
case "$DRV" in ""|*[!0-9]*) DRV=0 ;; esac
if [ "$DRV" -lt 580 ] && [ -z "${KEEP_DRIVER:-}" ]; then
. /etc/os-release && \
curl -fsSLO "https://developer.download.nvidia.com/compute/cuda/repos/ubuntu${VERSION_ID//./}/x86_64/cuda-keyring_1.1-1_all.deb" && \
sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -f cuda-keyring_1.1-1_all.deb && \
sudo apt-get update && \
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y nvidia-open || \
{ echo "Драйвер NVIDIA поставить не удалось: смотрите ошибку выше. Чтобы оставить текущий, запустите с KEEP_DRIVER=1."; exit 1; }
echo "Драйвер NVIDIA обновлён. Перезагрузите машину (sudo reboot) и запустите этот же скрипт ещё раз."
exit 0
fi
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv venv ~/vllm --python 3.12 --allow-existing && source ~/vllm/bin/activate
uv pip install vllm
vllm serve chienhsinlin/helioslm-hdl-e4b --max-model-len 8192 --quantization fp8Сервер слушает порт 8000 и понимает запросы в формате OpenAI: адрес http://localhost:8000/v1 на машине. Со своего компьютера: ssh -L 8000:localhost:8000 пользователь@IP-машины.