Skip to content
Other

Universal ONNX Runtime 1.30.1

портативная сборка со всеми ускорителями для Windows

2 min readupdated

Готовая автономная сборка ONNX Runtime 1.30.1 под Windows x64 и Python 3.12 от автора CatSnowdrop. Внутри одной папки сразу скомпилированы пять execution providers (движков исполнения нейросетей) вместе со всеми нативными библиотеками: TensorRT, CUDA, OpenVINO, DirectML и CPU. Главная фишка — установка простым копированием каталога onnxruntime/ в site-packages или папку приложения, без ручной загрузки CUDA Toolkit, cuDNN или TensorRT SDK. Пригодится разработчикам локальных AI-инструментов и тем, кто распространяет портативные Python-сборки под Windows (изначально пакет собирался для DeepFaceLive).

Ключевые особенности

  • Пять движков из коробки: в приоритетном порядке доступны TensorrtExecutionProvider (TensorRT 10.9), CUDAExecutionProvider (CUDA 12.9 + cuDNN 9), OpenVINOExecutionProvider (2026.2.1 для CPU/GPU/NPU Intel), DmlExecutionProvider (любые GPU с DirectX 12) и CPUExecutionProvider.
  • Никаких системных SDK: все 52 библиотеки .dll уже лежат в capi/, а пакет при импорте сам регистрирует путь через os.add_dll_directory — из системных зависимостей нужен только драйвер видеокарты.
  • Умный фолбэк при запуске: встроенный хелпер onnxruntime.uort.create_session() корректно перебирает провайдеры от самого быстрого к CPU, отлавливая специфические ошибки инициализации TensorRT и изолируя DirectML.
  • Без распаковки архивов: репозиторий выложен как готовое дерево из 379 файлов с проверкой SHA-256 через LFS/Xet и поддержкой докачки по HTTP Range.

Что можно сделать

  • Встроить в портативное приложение: положить папку onnxruntime рядом с python.exe или в _internal\python\Lib\site-packages (как в сборках DeepFaceLive), чтобы пользователи запускали модели на видеокартах NVIDIA, AMD и Intel без настройки окружения.
  • Ускорить инференс ONNX-моделей: быстро переключаться между CUDA, TensorRT (с кэшированием скомпилированных движков на диск) и DirectML в одном проекте без конфликтов зависимостей onnxruntime-gpu и onnxruntime-directml.

Пример

from onnxruntime.uort import create_session

# Автоматический перебор: TensorRT -> CUDA -> DirectML -> OpenVINO -> CPU
sess = create_session("model.onnx")
print(sess.get_providers())
ПодробнееВес сборки: 5,20 GiB (379 файлов, из них 1,88 GiB занимает nvinfer_builder_resource_10.dll для компиляции TensorRT-движков).
Поддержка GPU: ядра CUDA собраны под sm_61–120, но TensorRT 10 требует compute capability ≥ 7.5 (карты Pascal вроде GTX 10x0 работают через CUDA или DirectML).
Ограничения: строго Windows 10/11 x64 и CPython 3.12 (python312.dll); пакет ставится без dist-info, поэтому pip list его не увидит.
Discuss Telegram 0 23

Will it run?

Working out the memory needs

The bot is still collecting this model's weight sizes; the estimate will appear here in a few minutes. Meanwhile you can rent a GPU with headroom.

Massed ComputeOpen Massed Compute

Run it on Massed Compute

The script downloads the model to the rented machine. How to run it is in the model card.

  1. 1. Rent a machine with a fitting GPU

    Open Massed Compute
  2. 2. Paste the script into the machine's terminal

    Connect over SSH (the Massed Compute panel shows the command) or open a terminal on the machine's desktop.

    HF_TOKEN / CIVITAI_TOKENThe script starts with token lines: paste yours between the quotes. The Hugging Face token is for gated models, the Civitai one for Civitai models.

    # CatSnowdrop/universal_onnxruntime
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download CatSnowdrop/universal_onnxruntime --local-dir ~/models/universal_onnxruntime
    # The model is in ~/models. How to run it is in the model card (link above).
    Add more LoRAs to universal_onnxruntime
  3. 3. Use it

    The model is in ~/models. How to run it is in the model card (link above).

Stop the machine in the panel when you are done: it bills by the minute while it runs.

How to speed it up

Picked for this model type. Choose your hardware above to see what fits you exactly.

  • FlashAttention 44.0.0b40from November 18, 2026new release

    fastest exact attention on B200

    Kernels for Blackwell (beta). Exact attention without quantisation — fine for everything, LLMs included.

    How to enable: pip install flash-attn-4; vLLM and SGLang pick it up themselves.

    Earlier generations (2)
    • FlashAttention 3 — The Hopper (H100/H200) version with FP8.
    • FlashAttention 2 — The standard for RTX 30/40/50 and A100: exact attention without the memory cost of long contexts.
  • torch.compile2.15.0from October 28, 2026new release

    10–30% for free

    Compiles the model for your GPU. Slower first run, faster afterwards.

    How to enable: model = torch.compile(model); in ComfyUI the TorchCompileModel node.

Model family

New posts about versions of universal_onnxruntime (quants, finetunes, LoRAs) will show up under the bell.

No known relatives of this model yet. All derivatives on Hugging Face

About the model

CatSnowdrop/universal_onnxruntime
Author
CatSnowdrop
Category
Other
Released
Posted

On NeyroLearn

Hugging Face

230

Ask AI about this model

Answered by Gemini 4 · the chat is kept only in this tab

Comments