Separated Vocal Restorer
нейросеть для восстановления разделённого вокала
1 min read
Небольшая сеть от danmor, часть SongShift — инструмента для смены тональности и темпа целых песен. Восстанавливает вокал, повреждённый при source separation, работая в log-mel-домене вокодера PC-NSF-HiFiGAN. 3,9 млн параметров, экспериментальная опция SongShift.
Ключевые особенности
- Принимает log-mel разделённого вокала и оригинального микса, предсказывает residual-коррекцию чистого вокала.
- Архитектура: 1-D conv → 8 gated residual blocks (dilations 1, 2, 4, 8 дважды) → 1×1 head с нулевой инициализацией; 3,9 млн параметров.
- 128-bin natural-log mel, 44,1 kHz, n_fft 2048, hop 512, 40–16000 Hz.
- В SongShift включается флагом
--restorerили опцией «Restore the separated voice» в веб-приложении; файл скачивается автоматически. - По умолчанию выключен: в полных песнях улучшение трудно услышать, потому что детали остаются в других стемах.
Пример
songshift shift song.mp3 -s 2 --restorer
Подробнее
MCD на английских песнях CSD: 44,46 без реставратора, 40,40 с ним (лучше в 100% случаев), ~33,9 у чистого входа.Обучение: VocalSet 1.1 + превью MUSDB18, разделение htdemucs, SNR −6…+6 дБ, 8 000 шагов.
Лицензия CC BY-NC-SA 4.0 — только некоммерческое использование. Требования к VRAM в карточке не указаны.










Comments