DiffErase

DiffErase — набор pretrained-чекпоинтов для одноимённого проекта по удалению аудиоводяных знаков методом black-box с использованием diffusion priors («Audio Pirates: Black-box Audio Watermark Removal via Diffusion Priors»). Это инструмент на базе diffusers с двумя ветками — mel и latent — для доменов speech, music и env. Размер в параметрах в карточке не указан.

🤓 Ключевые особенности

• 🗣 Три домена: speech, music и env — отдельные чекпоинты для речи, музыки и окружающих звуков.
• 😎 DiffErase-mel: unconditional UNet2DModel + DDPMScheduler на 80-band mel-спектрограммах 22.05 kHz; аудио восстанавливается через BigVGAN.
• 🤓 DiffErase-latent: unconditional AudioLDM-style latent diffusion, 16 kHz, 64-band mel; каждый .ckpt содержит UNet, EMA-веса и frozen VAE.
• 📝 Для latent-версии в карточке указаны pretrained VAE и HiFi-GAN вокодер из AudioLDM.
• 👍 Данные обучения: LibriSpeech, FMA и Clotho.

⌨ Пример

git clone https://github.com/DiffErase/DiffErase.git
cd DiffErase
hf download DiffErase/DiffErase --local-dir .
python remove_differase-mel.py --domain speech \
  --watermarked_dir path/to/watermarked_audio --output_dir path/to/erased_audio --noise_level 0.1

Подробнее

Три домена и датасеты: speech — LibriSpeech, music — FMA, env — Clotho.
DiffErase-mel работает с 80-band mel-спектрограммами 22.05 kHz и восстанавливает аудио через BigVGAN.
DiffErase-latent — AudioLDM-style latent diffusion на 16 kHz и 64-band mel; .ckpt включает UNet, EMA-веса и frozen VAE.
Бенчмарков и требований к VRAM в карточке нет.