Caller emotion models
эмоции из телефонного звонка
1 min readupdated
Набор быстрых моделей для распознавания эмоций в телефонных звонках на английском и арабском от ozonetg. Каждая модель держит речевой энкодер замороженным и добавляет небольшую обученную голову на 55 эмоциональных атрибутов; фиксированная таблица превращает их в семь эмоций.
Ключевые особенности
- Семь эмоций: angry, disgusted, fearful, happy, neutral, sad, surprised.
- Несколько вариантов: Qwen3-ASR и Parakeet в сжатом ONNX с головой, ONNX-модель Horizon для мультиязычных слов, голова для Whisper large-v3.
- Обучение без человеческих меток эмоций: голова предсказывает 55 атрибутов, таблица переводит их в классы.
- Parakeet-вариант дообучен на реальной телефонной речи; исходный чекпойнт в форме NeMo тоже есть в репозитории.
- Для qwen/parakeet/horizon нужны numpy и onnxruntime; Whisper-голова требует torch, transformers и GPU.
- Вход — mono float32, 16 kHz;
scores()даёт семь оценок в порядкеmodel.classes.
Пример
import sys
sys.path.insert(0, "models/qwen_emotion")
from qwen_emotion import QwenEmotion
model = QwenEmotion("models/qwen_emotion", threads=4)
scores = model.scores(pcm_float32_16k)
# семь оценок в порядке model.classes
Подробнее
Исследовательские результаты, на живых звонках не тестировались.scores не калиброваны: порог алерта подбирайте по своему трафику.
Определять одну главную эмоцию на реплику пока слабо; для fearful и disgusted мало тестовых примеров.
Лицензии компонентов разные — проверяйте условия каждого источника.










Comments