К содержимому
Другое

Universal ONNX Runtime 1.30.1

портативная сборка со всеми ускорителями для Windows

2 мин чтенияобновлено

Готовая автономная сборка ONNX Runtime 1.30.1 под Windows x64 и Python 3.12 от автора CatSnowdrop. Внутри одной папки сразу скомпилированы пять execution providers (движков исполнения нейросетей) вместе со всеми нативными библиотеками: TensorRT, CUDA, OpenVINO, DirectML и CPU. Главная фишка — установка простым копированием каталога onnxruntime/ в site-packages или папку приложения, без ручной загрузки CUDA Toolkit, cuDNN или TensorRT SDK. Пригодится разработчикам локальных AI-инструментов и тем, кто распространяет портативные Python-сборки под Windows (изначально пакет собирался для DeepFaceLive).

Ключевые особенности

  • Пять движков из коробки: в приоритетном порядке доступны TensorrtExecutionProvider (TensorRT 10.9), CUDAExecutionProvider (CUDA 12.9 + cuDNN 9), OpenVINOExecutionProvider (2026.2.1 для CPU/GPU/NPU Intel), DmlExecutionProvider (любые GPU с DirectX 12) и CPUExecutionProvider.
  • Никаких системных SDK: все 52 библиотеки .dll уже лежат в capi/, а пакет при импорте сам регистрирует путь через os.add_dll_directory — из системных зависимостей нужен только драйвер видеокарты.
  • Умный фолбэк при запуске: встроенный хелпер onnxruntime.uort.create_session() корректно перебирает провайдеры от самого быстрого к CPU, отлавливая специфические ошибки инициализации TensorRT и изолируя DirectML.
  • Без распаковки архивов: репозиторий выложен как готовое дерево из 379 файлов с проверкой SHA-256 через LFS/Xet и поддержкой докачки по HTTP Range.

Что можно сделать

  • Встроить в портативное приложение: положить папку onnxruntime рядом с python.exe или в _internal\python\Lib\site-packages (как в сборках DeepFaceLive), чтобы пользователи запускали модели на видеокартах NVIDIA, AMD и Intel без настройки окружения.
  • Ускорить инференс ONNX-моделей: быстро переключаться между CUDA, TensorRT (с кэшированием скомпилированных движков на диск) и DirectML в одном проекте без конфликтов зависимостей onnxruntime-gpu и onnxruntime-directml.

Пример

from onnxruntime.uort import create_session

# Автоматический перебор: TensorRT -> CUDA -> DirectML -> OpenVINO -> CPU
sess = create_session("model.onnx")
print(sess.get_providers())
ПодробнееВес сборки: 5,20 GiB (379 файлов, из них 1,88 GiB занимает nvinfer_builder_resource_10.dll для компиляции TensorRT-движков).
Поддержка GPU: ядра CUDA собраны под sm_61–120, но TensorRT 10 требует compute capability ≥ 7.5 (карты Pascal вроде GTX 10x0 работают через CUDA или DirectML).
Ограничения: строго Windows 10/11 x64 и CPython 3.12 (python312.dll); пакет ставится без dist-info, поэтому pip list его не увидит.
Обсудить Telegram 0 23

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # CatSnowdrop/universal_onnxruntime
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download CatSnowdrop/universal_onnxruntime --local-dir ~/models/universal_onnxruntime
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к universal_onnxruntime
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии universal_onnxruntime — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

CatSnowdrop/universal_onnxruntime
Автор
CatSnowdrop
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

230

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии