К содержимому
Аудио

Hear Magic Clean

второй этап очистки голоса от кашля, стуков и шума

2 мин чтенияобновлено

Модель от samuelr3 очищает записи чтения вслух в качестве 48 кГц: удаляет кашель, чихание, лай, хлопки дверей и фоновый шум, сохраняя тембр диктора. Она построена на базе MossFormer2_SE_48K (55,3 млн параметров) и дообучена на реальных записях говорящих газет сервиса Hear. В отличие от обычных шумодавов, модель работает в связке поверх DeepFilterNet3 — если фильтр случайно глушит тихие окончания слов, страхующий алгоритм возвращает их из результата DeepFilterNet3. Пригодится для автоматической постпродакшн-обработки аудиокниг, подкастов, интервью и дикторской озвучки.

Ключевые особенности

  • Удаление резких звуков: подавляет внезапные шумы без речи на 38,1 дБ против 20,4 дБ у стокового DeepFilterNet3.
  • Защита тихой речи (Speech guard): возвращает тихие окончания слов вроде финального «s», но не пропускает громкий кашель, а также сохраняет музыкальные джинглы длиннее 3 секунд.
  • Выравнивание тона: встроенный шаг подгоняет итоговый спектр записи к эталону чистых записей (до 3 дБ на полосу, совместимо с фильтром FFmpeg firequalizer).
  • Высокая скорость: сам этап нейросети обрабатывает 60 минут аудио за 22 секунды на видеокарте RTX A40.

Что можно сделать

  • Очистка аудиокниг и начиток: убрать бытовые артефакты (покашливания, скрипы, уличный фон) из домашних или непрофессиональных записей дикторов.
  • Пайплайн для подкастов и радио: встроить связку DeepFilterNet3 + Magic Clean в серверную обработку голоса перед публикацией выпусков.
  • Дообучение под свой звук: использовать открытые веса mossformer2-hear-d.safetensors (221 МБ) и эталонный код из папки reference/ для адаптации под свои задачи.

Пример

import torch
from huggingface_hub import hf_hub_download

path = hf_hub_download(
    "samuelr3/hear-magic-clean",
    "second-stage/mossformer2-hear-d.ts.pt",
    revision="v1",
)
model = torch.jit.load(path).eval()
ПодробнееКачество на 60 тестовых записях: NISQA вырос с 3.46 (оригинал) и 3.78 (DeepFilterNet3) до 4.08; на клипах с кашлем и лаем PESQ поднялся с 1.90 до 3.61.
Железо: только Linux и GPU NVIDIA (CUDA 12, PyTorch 2.8); батч из 16 окон по 4 секунды занимает около 1,2 ГБ VRAM.
Ограничения: требует предварительного прогона через DeepFilterNet3 и входной WAV 48 кГц; обучалась на английской речи вслух, другие языки, пение и наложение голосов не тестировались.
Лицензии: архитектура MossFormer2 под Apache-2.0, дообученные веса и референсный код принадлежат Hear.
Обсудить Telegram 0

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 0.2 GB · готовые файлы0.7 GB
  • FP8 / INT8рекомендуемвеса 0.1 GB0.6 GB
  • 4-bitвеса 0.1 GB0.6 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # samuelr3/hear-magic-clean
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download samuelr3/hear-magic-clean --local-dir ~/models/hear-magic-clean
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к hear-magic-clean
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

alibabasglab/MossFormer2_SE_48K

Новые посты про версии MossFormer2_SE_48K — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 6Все на Hugging Face
Дообучения 1Все на Hugging Face

О модели

samuelr3/hear-magic-clean
Автор
samuelr3
Категория
Аудио
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии