Photon Models
14 аудиомоделей iZotope/BorisFX в ONNX и PyTorch
1 мин чтенияобновлено
Набор извлечённых модельных ассетов из iZotope/BorisFX Photon: 14 моделей для разделения музыки и речи, шумоподавления, восстановления голоса и анализа активности спикеров. В репозитории — 4 модели в формате PyTorch (.ckpt + config.yaml) для pymss/MSST и 13 автономных ONNX; часть моделей пересекается, а music4stemhq доступна только через PyTorch.
Ключевые особенности
- 14 моделей: BS-RoFormer, SCNet, Bandit v2, ConvNeXt U-Net GAN, ReDimNet и другие.
- Задачи: 2/4/5-стемовое разделение, cinema 4 stems, реставрация речи, сценовое шумоподавление, эмбеддинги и активность спикеров.
.model4— это safetensors-контейнер с 256-байтным циклическим XOR-ключом, без pickle, zip и libtorch.- Внутри контейнера — ONNX, GGUF и CoreML(+MLX); на Windows фактически используется onnxruntime.
- Все ONNX статические: roformer-модели ждут 801/690/751 кадров, dedup — 16384 сэмпла; вход roformer — STFT
[B, 2, 1025, T, 2].
Пример
import onnxruntime as ort, numpy as np
sess = ort.InferenceSession('onnx/indoor_dedup_v01.onnx',
providers=['CPUExecutionProvider'])
inp = sess.get_inputs()[0]
out = sess.run(None, {inp.name: np.zeros(inp.shape, dtype=np.float32)})
Подробнее
14 моделей: 4 в PyTorch, 13 в ONNX; 3 модели есть в обоих форматах,music4stemhq — только PyTorch.Все ONNX статические: roformer ждёт 801/690/751 кадров, dedup — 16384 сэмпла; вход roformer — STFT
[B, 2, 1025, T, 2].Права на веса принадлежат iZotope/BorisFX; репозиторий — для исследования совместимости, перераспространение не разрешено.










Комментарии