larsnet-onnx
разделение партии ударных на отдельные инструменты в ONNX
2 min readupdated
Набор из пяти нейросетевых моделей для раскладывания стереомикса ударных на отдельные дорожки: бочку (kick), малый барабан (snare), томы (toms), хай-хэт (hi-hat) и тарелки (cymbals). В основе лежат предобученные сети LarsNet с архитектурой UNet от исследователей из Миланского технического университета (Politecnico di Milano), переведённые в формат ONNX (универсальный формат для быстрого запуска моделей без тяжёлого PyTorch). В отличие от оригинальных PyTorch-чекпоинтов, из файлов убраны лишние состояния оптимизатора, а сами веса остались без изменений. Пригодится разработчикам аудиософта, плагинов и музыкантам для работы с барабанными партиями.
Ключевые особенности
- Пять отдельных моделей в комплекте:
kick.onnx,snare.onnx,toms.onnx,hihat.onnxиcymbals.onnx. - Точный перенос из PyTorch (opset 17, точность fp32): расхождение с оригиналом составляет около 1e-5.
- Работает со спектрограммой (STFT) стереозвука фрагментами по 512 фреймов — это примерно 11,9 секунды аудио при частоте 44.1 кГц.
- Каждая модель весит около 39,3 МБ, что удобно для встраивания в настольные приложения.
Что можно сделать
- Встроить разделение барабанных стемов в открытые аудиоредакторы и DAW (конвертация делалась специально для проекта Noodle).
- Изолировать бочку, малый барабан или железо из готового барабанного лупа для ремиксов, ресемплинга или замены тембров.
- Запускать инференс через ONNX Runtime в C++, Rust или Python без необходимости тянуть в проект весь стек PyTorch.
Пример
На вход любой из пяти моделей подаётся тензор mag типа float32 размером [1, 2, 2048, 512] (амплитудный STFT-спектр стереомикса с n_fft=4096 и hop=1024). На выходе получается маска mask того же размера со значениями от 0 до 1: её нужно перемножить со спектрограммой микса и выполнить обратное преобразование (inverse STFT) с использованием исходной фазы сигнала.
Подробнее
Обучение и веса: оригинальный LarsNet (Mezza et al., 2024), архитектура UNet без изменений.Формат: ONNX opset 17, fp32, режим eval.
Ограничения: лицензия CC BY-NC 4.0 — строго для некоммерческого использования.










Comments