HTDemucs ONNX (INT8)
разделение треков на стемы для смартфонов
2 мин чтенияобновлено
Это сжатая версия известной модели HTDemucs от Meta AI, которая разделяет музыкальный трек на четыре отдельные дорожки: вокал, ударные, бас и остальные инструменты. Автор перевёл модель в формат ONNX и применил динамическое квантование (сжатие весов для ускорения работы) до INT8, чтобы её можно было запускать на процессорах мобильных устройств через библиотеку ONNX Runtime. В отличие от оригинальной FP32-версии, этот вариант весит в два раза меньше и работает быстрее на CPU при сохранении высокой точности сигнала. Модель пригодится разработчикам мобильных аудиоприложений, диджейских утилит и сервисов для создания минусовок.
Ключевые особенности
- Оптимизация под мобильные CPU: веса операций MatMul и Gemm квантованы в INT8, при этом свёрточные слои оставлены в FP32 для сохранения качества.
- Компактный размер: итоговый файл весит около 84,9 МБ — в два раза меньше исходного FP32-экспорта.
- Прирост скорости: при тестировании на процессоре Apple M1 в 4 потока модель работает примерно на 18% быстрее оригинала.
- Четыре полноценных стема: выделяет
drums,bass,otherиvocalsиз стереозаписи с частотой дискретизации 44.1 kHz.
Что можно сделать
- Мобильное приложение для караоке: встроить локальное удаление вокала или выделение инструментальных партий прямо на смартфоне без отправки аудио на сервер.
- Инструмент для музыкантов и диджеев: сделать оффлайн-утилиту для ремиксов, съёма басовых или ударных партий на лету.
Пример
Модель принимает на вход фиксированный стереофрагмент длиной 7.8 секунды (44.1 kHz, форма 1 x 2 x 343980) и предварительно вычисленную спектрограмму mag (1 x 4 x 2048 x 336, параметры STFT: n_fft 4096, hop 1024). Прямое и обратное преобразование Фурье (STFT / iSTFT) не встроено в граф и выполняется на стороне вызывающего кода, а на выходе возвращаются 4 дорожки в формате FP32.
Подробнее
Базовая модель: Ghilda/htdemucs-onnx (конвертация HTDemucs от Meta AI).Точность относительно FP32: разница по SNR составляет 37–41 dB (спектральная ветвь) и 35–40 dB (временная ветвь).
Размер файла: 84 912 686 байт (htdemucs_int8.onnx).
Лицензия: MIT.










Комментарии