3D-Speaker ERes2NetV2 QNN

Это ERes2NetV2 из проекта 3D-Speaker команды Alibaba: модель строит 192-мерные speaker embeddings по 16-кГц аудио. В репозитории она скомпилирована в QNN context binaries для Snapdragon 8 Elite (SM8750, Hexagon v79) с QAIRT 2.40.0.251030; рядом лежит тот же ONNX для CPU. Лицензия Apache-2.0, изменён только формат.

😎 Ключевые особенности

• 🗣 На выходе — 192-мерный эмбеддинг голоса, сравнение по косинусу.
• ⌨ Три фиксированных графа: t150, t300 и t600 для 1,5, 3 и 6 секунд аудио.
• 😎 QNN-сборка: 16-битные активации, 32-битный bias, float, без калибровки.
• 🤝 model.onnx не изменён и подходит для CPU-экстрактора sherpa-onnx.
• 📝 На Galaxy S25 косинус между NPU и CPU — 0,99996 или выше на всех трёх графах.

📝 Пример

SpeakerEmbeddingExtractorConfig.qnnConfig.contextBinary = "t150.bin,t300.bin,t600.bin"

Подробнее

Вход NPU-графов — float32 [1, 80, T], выход — [1, 192].
Для аудио короче 1,5 с кадры повторяют до 150; длинное аудио режут окнами, эмбеддинги L2-нормализуют, усредняют и снова нормализуют.
Бинарники привязаны к SM8750, Hexagon v79 и QAIRT 2.40.0.251030; библиотеки QNN от Qualcomm в репозиторий не входят.