HTDemucs Engine

Кастомная HTDemucs от Super3dMax, обученная с нуля разделять синтетические звуки двигателя и машин на четыре стема: whine, hiss, click и bump. Архитектура — гибрид спектрограммы и waveform-трансформера Demucs, 42 млн параметров.

🤓 Ключевые особенности

• 🗣 Разделяет смесь на тональный вой, широкополосный шип, короткие клики и низкочастотные удары.
• 🤓 HTDemucs: channels=48, bottom_channels=512, t_layers=5, nfft=4096, CaC, без Wiener-итераций.
• 📝 Обучение: 1 024 синтетических трека + 128 валидационных, 60 000 шагов, EMA-веса.
• 👍 Два самодостаточных GGUF для audio.cpp: f16 (~84 МБ, рекомендуется) и q8_0 (~60 МБ).
• 😎 Также запускается через PyTorch/mss-training; GGUF совместим с узлом HTDemucs в SpectroCraft DAW.

📝 Пример

audiocpp_cli --task sep --family htdemucs --model htdemucs-whine-hiss-click-bump_v1_f16.gguf --backend cpu --audio input.wav --out-dir stems_out

На вход нужен stereo 44.1 kHz WAV; на выходе — четыре WAV той же длины.

Подробнее

SDR на валидации: ALL +15.3 dB (SI-SDR +14.8), whine +22.4, click +5.1.
Обучение заняло ~15 ч на одной RTX 5070 Ti (16 ГБ).
Ограничения: только синтетические данные; клики короче STFT-фрейма и восстанавливаются частично; стерео L=R, частота 44.1 кГц.
Лицензия MIT.