Caller emotion models

Набор быстрых моделей для распознавания эмоций в телефонных звонках на английском и арабском от ozonetg. Каждая модель держит речевой энкодер замороженным и добавляет небольшую обученную голову на 55 эмоциональных атрибутов; фиксированная таблица превращает их в семь эмоций.

⚡ Ключевые особенности

• 🎭 Семь эмоций: angry, disgusted, fearful, happy, neutral, sad, surprised.
• ⚡ Несколько вариантов: Qwen3-ASR и Parakeet в сжатом ONNX с головой, ONNX-модель Horizon для мультиязычных слов, голова для Whisper large-v3.
• 🧩 Обучение без человеческих меток эмоций: голова предсказывает 55 атрибутов, таблица переводит их в классы.
• 🦾 Parakeet-вариант дообучен на реальной телефонной речи; исходный чекпойнт в форме NeMo тоже есть в репозитории.
• 🧊 Для qwen/parakeet/horizon нужны numpy и onnxruntime; Whisper-голова требует torch, transformers и GPU.
• ⚙ Вход — mono float32, 16 kHz; scores() даёт семь оценок в порядке model.classes.

⚙ Пример

import sys
sys.path.insert(0, "models/qwen_emotion")
from qwen_emotion import QwenEmotion

model = QwenEmotion("models/qwen_emotion", threads=4)
scores = model.scores(pcm_float32_16k)
# семь оценок в порядке model.classes

Подробнее

Исследовательские результаты, на живых звонках не тестировались.
scores не калиброваны: порог алерта подбирайте по своему трафику.
Определять одну главную эмоцию на реплику пока слабо; для fearful и disgusted мало тестовых примеров.
Лицензии компонентов разные — проверяйте условия каждого источника.