BirdNET-Plus-V3.0
распознавание птиц и звуков природы в GPU-совместимом ONNX
2 мин чтенияобновлено
Акустический классификатор BirdNET+ V3.0 (от лаборатории биоакустики Корнеллского университета и партнёров), пересобранный автором tphakala в формат ONNX для запуска не только на CPU, но и на GPU и OpenVINO. Модель принимает 5-секундные отрезки сырого аудио (32 kHz) и определяет 11 725 классов видов животных и звуков, а также возвращает эмбеддинги (векторные представления звука). В стандартном экспорте BirdNET операция STFT мешает работе в CUDA, TensorRT и OpenVINO — здесь её заменили на эквивалентную Conv1d. В репозиторий также включены готовые региональные срезы (включая Восточную Европу), которые весят втрое меньше полной версии без потери точности по местным видам.
Ключевые особенности
- Совместимость с GPU и OpenVINO: замена
STFTнаConv1dубирает неподдерживаемые операции, позволяя использовать один файл модели на разных ускорителях. - Полная и региональные версии: полная модель на 11 725 классов занимает 361 МБ, а региональные тайлы (например,
eastern-europeна 540 классов) весят около 110–180 МБ. - Численная идентичность: региональные модели отфильтрованы по BirdNET Geomodel v3.0.2, но для оставшихся видов выдают те же вероятности (расхождение меньше 1e-6), поэтому пороги срабатывания не нужно перенастраивать.
- Удобная стыковка с Perch v2: входной буфер
[batch, 160000](5 секунд при 32 кГц) совпадает с Perch v2, что позволяет подавать один аудиопоток сразу в оба классификатора.
Что можно сделать
- Запустить локальный мониторинг природы: подключить модель к BirdNET-Go или собственному скрипту на ONNX Runtime для автоматического определения птиц по микрофону.
- Развернуть на слабом железе: взять компактный региональный срез для своей местности (в том числе для Восточной Европы, Центральной Европы или Северной Азии) на устройствах с малым объёмом RAM.
- Искать похожие звуки: использовать выходной вектор
embeddings [batch, 1280]для кластеризации и поиска по архивам полевых аудиозаписей.
Пример
Для запуска укажите в хосте (например, BirdNET-Go) путь к файлу модели и соответствующему файлу меток в формате Scientific name_Common name (например, full/birdnet-plus-v3.0-fp32-b1.onnx и full/birdnet-plus-v3.0-labels-b1.txt). На вход подаётся тензор [batch, 160000] (5 с, 32 kHz), на выходе модель возвращает вероятности с уже применённой сигмоидой predictions [batch, 11725] и вектор признаков embeddings [batch, 1280].
Подробнее
Архитектура: EfficientNetV2-S backbone с трёхголовым классификатором (11 725 классов), лицензия Apache-2.0.Формат: опубликованы файлы в точности FP32 (FP16 и int8-arm не включены; в OpenVINO и BirdNET-Go v3.0 используется FP32).
Ограничения: в текущем релизе автор тестировал сборку на ONNX Runtime CPU, отдельные бенчмарки для CUDA, TensorRT и OpenVINO не проводились.










Комментарии