Hear Magic Clean
второй этап очистки голоса от кашля, стуков и шума
2 min readupdated
Модель от samuelr3 очищает записи чтения вслух в качестве 48 кГц: удаляет кашель, чихание, лай, хлопки дверей и фоновый шум, сохраняя тембр диктора. Она построена на базе MossFormer2_SE_48K (55,3 млн параметров) и дообучена на реальных записях говорящих газет сервиса Hear. В отличие от обычных шумодавов, модель работает в связке поверх DeepFilterNet3 — если фильтр случайно глушит тихие окончания слов, страхующий алгоритм возвращает их из результата DeepFilterNet3. Пригодится для автоматической постпродакшн-обработки аудиокниг, подкастов, интервью и дикторской озвучки.
Ключевые особенности
- Удаление резких звуков: подавляет внезапные шумы без речи на 38,1 дБ против 20,4 дБ у стокового DeepFilterNet3.
- Защита тихой речи (Speech guard): возвращает тихие окончания слов вроде финального «s», но не пропускает громкий кашель, а также сохраняет музыкальные джинглы длиннее 3 секунд.
- Выравнивание тона: встроенный шаг подгоняет итоговый спектр записи к эталону чистых записей (до 3 дБ на полосу, совместимо с фильтром FFmpeg
firequalizer). - Высокая скорость: сам этап нейросети обрабатывает 60 минут аудио за 22 секунды на видеокарте RTX A40.
Что можно сделать
- Очистка аудиокниг и начиток: убрать бытовые артефакты (покашливания, скрипы, уличный фон) из домашних или непрофессиональных записей дикторов.
- Пайплайн для подкастов и радио: встроить связку DeepFilterNet3 + Magic Clean в серверную обработку голоса перед публикацией выпусков.
- Дообучение под свой звук: использовать открытые веса
mossformer2-hear-d.safetensors(221 МБ) и эталонный код из папкиreference/для адаптации под свои задачи.
Пример
import torch
from huggingface_hub import hf_hub_download
path = hf_hub_download(
"samuelr3/hear-magic-clean",
"second-stage/mossformer2-hear-d.ts.pt",
revision="v1",
)
model = torch.jit.load(path).eval()
Подробнее
Качество на 60 тестовых записях: NISQA вырос с 3.46 (оригинал) и 3.78 (DeepFilterNet3) до 4.08; на клипах с кашлем и лаем PESQ поднялся с 1.90 до 3.61.Железо: только Linux и GPU NVIDIA (CUDA 12, PyTorch 2.8); батч из 16 окон по 4 секунды занимает около 1,2 ГБ VRAM.
Ограничения: требует предварительного прогона через DeepFilterNet3 и входной WAV 48 кГц; обучалась на английской речи вслух, другие языки, пение и наложение голосов не тестировались.
Лицензии: архитектура MossFormer2 под Apache-2.0, дообученные веса и референсный код принадлежат Hear.










Comments