Oversample bat-call denoiser v1
нейросеть для очистки ультразвука летучих мышей
2 мин чтенияобновлено
Компактная свёрточная нейросеть, которая подавляет фоновый шум в ультразвуковых записях эхолокационных сигналов летучих мышей. На вход модель получает спектрограмму аудио, а на выходе вычисляет коэффициенты усиления для каждого частотного бина, чтобы очистить сигнал без ресемплинга. Модель весит всего 264 КБ (64 513 параметров), распространяется в формате ONNX и используется в приложении Oversample. Она пригодится биоакустикам, исследователям и разработчикам систем анализа ультразвука, которым нужен лёгкий и быстрый шумодав.
Ключевые особенности
- Сверхкомпактный размер: файл
oversample-bat-denoise-v1.onnxзанимает 264 КБ и содержит 64 513 весов (opset 17). - Работает с исходной частотой дискретизации: аудио обрабатывается посэмплово без ресемплинга через 512-точечное STFT (кратковременное преобразование Фурье).
- Сохраняет тихие сигналы: при обучении недооценка чистого сигнала штрафовалась в функции потерь в 8 раз сильнее, чтобы слабые крики не терялись.
- Контролируемое подавление шума: минимальный порог усиления (gain floor) 0.1 сохраняет 10% исходного сигнала, снижая шум максимум на 20 дБ.
Что можно сделать
- Использовать встроенную функцию Make Denoised Copy в меню Noise веб-приложения Oversample для автоматической очистки полевых записей.
- Встроить
oversample-bat-denoise-v1.onnxв собственный пайплайн предварительной обработки биоакустических данных на Python или C++ через ONNX Runtime. - Очищать архивы ультразвуковых записей (192–500 кГц) перед автоматической классификацией видов летучих мышей.
Пример
Для инференса аудио нормализуется по уровню шума, переводится в STFT (окно 512, шаг 128, окно Ханна), а признаки log(|Z| + 0.1) с вычтенной временной медианой подаются в тензор feat формы (1, 1, 257, frames). Из выходного logit вычисляется маска max(2 * sigmoid(logit) - 1, 0.1), которая умножается на исходную спектрограмму перед обратным преобразованием.
Подробнее
Обучение: записи летучих мышей с xeno-canto (250–500 кГц), синтетическое наложение ослабленных чистых сигналов на реальный фоновый шум.Проверка и частоты: протестировано визуально на частотах 192, 256, 384 и 500 кГц; на частотах ниже 192 кГц не проверялось.
Ограничения: сигналы на уровне шума теряют около 2–3 дБ, а прерывистые посторонние звуки (например, насекомые) в основном сохраняются.










Комментарии