haex-wakeword

Это ONNX-модель кодового слова по умолчанию для голосового ассистента haex от проекта haex-space. Она состоит из эмбеддера Google speech_embedding/1 с log-mel фронтендом и классификатора hex.onnx; на вход подаётся 16 кГц mono float32. Кодовое слово произносится как [hɛks].

⚙ Ключевые особенности

• ⚙ Два ONNX-файла: speech_embedding.onnx выдаёт по одному 96-значному эмбеддингу на каждые 1 280 сэмплов, hex.onnx классифицирует окно из 16 таких кадров.
• 🎯 Вход классификатора — [batch, 16, 96] float32, выход — вероятность [batch, 1].
• ⚡ Потоковый запуск: каждые 80 мс в эмбеддер отправляются последние 12 800 сэмплов, затем последние 16 кадров идут в классификатор.
• 🛑 Срабатывание — когда windows вероятностей подряд достигают threshold; после этого 2 с тишины.
• 🌐 Замеры на 37,1 ч отложенной речи (MLS test, FLEURS dev; шесть языков; дикторы, не встречавшиеся в обучении) и на отложенных синтетических голосах.
• 🧩 Лицензия Apache-2.0; в card.json лежат хеши, контракт стриминга и параметры чувствительности.

🔬 Пример

Сценарий из карточки: каждые 80 мс подавайте последние 12 800 сэмплов (16 кГц, mono, float32) в speech_embedding.onnx, берите последний выходной кадр и передавайте последние 16 кадров в hex.onnx. Если вероятность превысила порог нужное число окон подряд — сработало «Hey Hex», дальше 2 с тишины.

Подробнее

На отложенной речи: medium — 90,5% для «Hey Hex» и 49,6% для «Hex» отдельно, 0,05 ложных срабатываний в час; high — 94,2% и 72,3%, 0,48/ч; low — 88,7% и 47,1%, 0,00/ч.
medium — дефолт haex. Цифры получены на синтетических голосах; recall на реальных голосах на расстоянии измеряется в приложении.
Лицензия Apache-2.0.