Universal ONNX Runtime 1.30.1
портативная сборка со всеми ускорителями для Windows
2 min readupdated
Готовая автономная сборка ONNX Runtime 1.30.1 под Windows x64 и Python 3.12 от автора CatSnowdrop. Внутри одной папки сразу скомпилированы пять execution providers (движков исполнения нейросетей) вместе со всеми нативными библиотеками: TensorRT, CUDA, OpenVINO, DirectML и CPU. Главная фишка — установка простым копированием каталога onnxruntime/ в site-packages или папку приложения, без ручной загрузки CUDA Toolkit, cuDNN или TensorRT SDK. Пригодится разработчикам локальных AI-инструментов и тем, кто распространяет портативные Python-сборки под Windows (изначально пакет собирался для DeepFaceLive).
Ключевые особенности
- Пять движков из коробки: в приоритетном порядке доступны
TensorrtExecutionProvider(TensorRT 10.9),CUDAExecutionProvider(CUDA 12.9 + cuDNN 9),OpenVINOExecutionProvider(2026.2.1 для CPU/GPU/NPU Intel),DmlExecutionProvider(любые GPU с DirectX 12) иCPUExecutionProvider. - Никаких системных SDK: все 52 библиотеки
.dllуже лежат вcapi/, а пакет при импорте сам регистрирует путь черезos.add_dll_directory— из системных зависимостей нужен только драйвер видеокарты. - Умный фолбэк при запуске: встроенный хелпер
onnxruntime.uort.create_session()корректно перебирает провайдеры от самого быстрого к CPU, отлавливая специфические ошибки инициализации TensorRT и изолируя DirectML. - Без распаковки архивов: репозиторий выложен как готовое дерево из 379 файлов с проверкой SHA-256 через LFS/Xet и поддержкой докачки по HTTP Range.
Что можно сделать
- Встроить в портативное приложение: положить папку
onnxruntimeрядом сpython.exeили в_internal\python\Lib\site-packages(как в сборках DeepFaceLive), чтобы пользователи запускали модели на видеокартах NVIDIA, AMD и Intel без настройки окружения. - Ускорить инференс ONNX-моделей: быстро переключаться между CUDA, TensorRT (с кэшированием скомпилированных движков на диск) и DirectML в одном проекте без конфликтов зависимостей
onnxruntime-gpuиonnxruntime-directml.
Пример
from onnxruntime.uort import create_session
# Автоматический перебор: TensorRT -> CUDA -> DirectML -> OpenVINO -> CPU
sess = create_session("model.onnx")
print(sess.get_providers())
Подробнее
Вес сборки: 5,20 GiB (379 файлов, из них 1,88 GiB занимаетnvinfer_builder_resource_10.dll для компиляции TensorRT-движков).Поддержка GPU: ядра CUDA собраны под
sm_61–120, но TensorRT 10 требует compute capability ≥ 7.5 (карты Pascal вроде GTX 10x0 работают через CUDA или DirectML).Ограничения: строго Windows 10/11 x64 и CPython 3.12 (
python312.dll); пакет ставится без dist-info, поэтому pip list его не увидит.









Comments