Separated Vocal Restorer

Небольшая сеть от danmor, часть SongShift — инструмента для смены тональности и темпа целых песен. Восстанавливает вокал, повреждённый при source separation, работая в log-mel-домене вокодера PC-NSF-HiFiGAN. 3,9 млн параметров, экспериментальная опция SongShift.

💡 Ключевые особенности

• 🎯 Принимает log-mel разделённого вокала и оригинального микса, предсказывает residual-коррекцию чистого вокала.
• ⚙ Архитектура: 1-D conv → 8 gated residual blocks (dilations 1, 2, 4, 8 дважды) → 1×1 head с нулевой инициализацией; 3,9 млн параметров.
• 🎷 128-bin natural-log mel, 44,1 kHz, n_fft 2048, hop 512, 40–16000 Hz.
• 🧩 В SongShift включается флагом --restorer или опцией «Restore the separated voice» в веб-приложении; файл скачивается автоматически.
• 🛑 По умолчанию выключен: в полных песнях улучшение трудно услышать, потому что детали остаются в других стемах.

🎷 Пример

songshift shift song.mp3 -s 2 --restorer

Подробнее

MCD на английских песнях CSD: 44,46 без реставратора, 40,40 с ним (лучше в 100% случаев), ~33,9 у чистого входа.
Обучение: VocalSet 1.1 + превью MUSDB18, разделение htdemucs, SNR −6…+6 дБ, 8 000 шагов.
Лицензия CC BY-NC-SA 4.0 — только некоммерческое использование. Требования к VRAM в карточке не указаны.