Perch 2.0 tract
классификатор звуков природы для браузера
2 min readupdated
Эта сборка позволяет запускать Google Perch 2.0 через tract — ONNX-движок для браузера и десктопных приложений. Модель берёт 5 секунд аудио и относит запись к одному из 14 795 классов: птицы, лягушки, насекомые, млекопитающие и другие звуковые события. Автор pengowray разделил исходную модель на embedding-часть и классификатор, а также перевёл голову в int8. Сборка используется в Oversample и пригодится разработчикам офлайн-распознавания звуков.
Ключевые особенности
- Два файла: embedding ONNX около 44,7 МБ и int8-голова около 91,4 МБ.
- Вход — 160 000 сэмплов, то есть 5 секунд при 32 кГц; выходы embedding на 1 536 значений и spatial_embedding 16×4×1 536.
- Классификатор хранит прототипы в int8, по одной шкале на прототип, и покрывает 14 795 классов.
- Подготовлено под tract 0.23 с batch size 1: batch-norm свёрнут в веса и смещения свёрток.
- На 383 из 384 окон верхний класс совпал с оригиналом, логиты отличаются не более чем на 0.031.
Что можно сделать
- Сделать веб-демо: записать 5 секунд звука и показать вероятные классы птиц, лягушек, насекомых или млекопитающих.
- Встроить модель в десктопное приложение на tract для офлайн-анализа полевых записей.
- Использовать embedding как признак д��я поиска похожих звуков или кластеризации записей.
- Собрать сервис, который сортирует аудио по видам, взяв названия классов из labels.csv.
Пример
Берём 5-секундный фрагмент записи с частотой 32 кГц, подаём его в perch_v2_embed.tract.onnx, получаем embedding и spatial_embedding, затем int8-голова возвращает логиты для 14 795 классов. Названия классов лежат отдельно — в assets/labels.csv из cgeorgiaw/Perch.
Подробнее
Вход: 160 000 сэмплов, или 5 секунд при 32 кГц.Файлы: около 44,7 МБ и 91,4 МБ; классы нужно брать из отдельного labels.csv.
Совпадение с оригиналом: 383 из 384 окон, логиты в пределах 0.031.
Лицензия Apache 2.0; для загрузки нужен tract 0.23 с batch size 1.










Comments