3D-Speaker ERes2NetV2 QNN
голосовые отпечатки на NPU Snapdragon
1 min read
Это ERes2NetV2 из проекта 3D-Speaker команды Alibaba: модель строит 192-мерные speaker embeddings по 16-кГц аудио. В репозитории она скомпилирована в QNN context binaries для Snapdragon 8 Elite (SM8750, Hexagon v79) с QAIRT 2.40.0.251030; рядом лежит тот же ONNX для CPU. Лицензия Apache-2.0, изменён только формат.
Ключевые особенности
- На выходе — 192-мерный эмбеддинг голоса, сравнение по косинусу.
- Три фиксированных графа: t150, t300 и t600 для 1,5, 3 и 6 секунд аудио.
- QNN-сборка: 16-битные активации, 32-битный bias, float, без калибровки.
- model.onnx не изменён и подходит для CPU-экстрактора sherpa-onnx.
- На Galaxy S25 косинус между NPU и CPU — 0,99996 или выше на всех трёх графах.
Пример
SpeakerEmbeddingExtractorConfig.qnnConfig.contextBinary = "t150.bin,t300.bin,t600.bin"
Подробнее
Вход NPU-графов — float32 [1, 80, T], выход — [1, 192].Для аудио короче 1,5 с кадры повторяют до 150; длинное аудио режут окнами, эмбеддинги L2-нормализуют, усредняют и снова нормализуют.
Бинарники привязаны к SM8750, Hexagon v79 и QAIRT 2.40.0.251030; библиотеки QNN от Qualcomm в репозиторий не входят.










Comments