YAMNet (ONNX float16)
компактный классификатор звуков для браузера и Node.js
2 min readupdated
YAMNet — лёгкая нейросеть от Google на архитектуре MobileNetV1, которая распознаёт 521 категорию звуков из датасета AudioSet (речь, музыкальные инструменты, шумы и т.д.). Авторы репозитория audiojs сконвертировали оригинальные веса в формат ONNX (универсальный формат для запуска моделей без привязки к фреймворку) и сжали их в точность float16 — вес файла уменьшился вдвое, до 7,5 МБ. Модель принимает нарезку спектрограммы (log-mel патч длительностью 0,96 секунды) и выдаёт оценки уверенности для каждого класса. Подойдёт веб- и JS-разработчикам, которым нужна быстрая локальная классификация аудио прямо в браузере или на сервере на Node.js.
Ключевые особенности
- Вес модели всего 7,5 МБ против 14,9 МБ у версии в float32 при сохранении вычислений в float32.
- Точность предсказаний практически не пострадала: максимальное отклонение оценок от оригинальной модели Keras составляет 3.6e-3, а топовый класс совпал на всех 49 тестовых фрагментах.
- Оптимизирована для работы в связке с библиотекой
@audio/neural-tagчерезonnxruntimeилиonnxruntime-web. - Свободная лицензия Apache 2.0 для весов и кода (и CC BY-SA 4.0 / CC BY 4.0 для таксономии классов AudioSet).
Что можно сделать
- Встроить автоматическое тегирование загружаемых аудиофайлов в веб-приложение на JavaScript без отправки звука на сервер.
- Добавить фоновое распознавание звуковых событий (речь, тишина, шумы) в Node.js-сервис или браузерный аудиоредактор.
Пример
import { tag } from '@audio/neural-tag'
let tags = await tag(samples, 44100) // [{ name: 'Speech', id: '/m/09x0r', index: 0, score }, …]Подробнее
Параметры: 3 729 481 (MobileNetV1, opset 17, batch norm свёрнут в свёртки).Вход: patches [n, 96, 64] float32 (16 кГц моно, 64 mel-полосы), выход: scores [n, 521] float32.
Метрики оригинала на AudioSet (20 366 сегментов): mAP 0.306, d-prime 2.318, lwlrap 0.393.
Ограничение: выходы сигмоиды не откалиброваны между классами — их нельзя трактовать напрямую как вероятности.










Comments