Oversample denoiser v2
компактный шумодав для записей птиц и летучих мышей
2 min readupdated
Небольшая свёрточная нейросеть (CNN) в формате ONNX для подавления фонового шума в полевых аудиозаписях птиц и летучих мышей. Разработана автором pengowray для веб-приложения Oversample и заменяет первую версию модели, которая умела работать только с ультразвуковыми записями летучих мышей. Сеть весит всего 264 КБ (64 513 параметров), работает с аудио на его исходной частоте дискретизации без ресемплинга и снижает шум максимум на 20 дБ. Пригодится биоакустикам, орнитологам и любителям записи звуков природы для очистки спектрограмм и прослушивания.
Ключевые особенности
- Ультракомпактный размер: файл
oversample-denoise-v2.onnxзанимает 264 КБ (opset 17) и содержит 64 513 весов. - Работа без ресемплинга: обрабатывает аудио на исходной частоте — от 22–96 кГц для птиц до 250–500 кГц для летучих мышей.
- Спектральная фильтрация: предсказывает коэффициент усиления для каждого бина 512-точечного STFT (оконное преобразование Фурье) с порогом подавления до 20 дБ.
- Защита тихих сигналов: при обучении недооценка чистого звука штрафовалась в 8 раз сильнее для летучих мышей и в 16 раз — для птиц.
Что можно сделать
- Очистить полевые записи голосов птиц или эхолокации летучих мышей от постоянного фонового шума прямо в сервисе Oversample через меню Noise.
- Встроить лёгкий ONNX-модуль в собственные скрипты или десктопные утилиты для предварительной очистки биоакустических архивов.
Пример
Модель принимает тензор логарифмических признаков STFT feat размерности (1, 1, 257, frames) в формате float32 и возвращает тензор logit той же формы. Из него вычисляется маска усиления (2 * sigmoid(logit) - 1 с медианным сглаживанием и нижним порогом 0.1), на которую умножается исходный спектр перед обратным преобразованием в аудио.
Подробнее
Обучение: 203 записи летучих мышей (250–500 кГц) и 461 запись птиц (22–96 кГц) из базы xeno-canto.Ограничения: в записях птиц на 44.1 и 48 кГц полностью вырезаются частоты ниже ~180 Гц; нестационарные шумы (шаги, речь, шорох рук) почти не удаляются.
Важно: классификаторы BirdNET и Perch показывают более низкую точность на очищенной копии, поэтому определять виды лучше по оригинальной записи.










Comments