MoodLink emotion CNN
распознавание эмоций в речи на ESP32-S3
2 min readupdated
Компактная свёрточная нейросеть для классификации эмоций по голосу прямо на микроконтроллерах ESP32-S3. В репозитории лежат две квантованные INT8-версии в формате TensorFlow Lite (v11.1 и v12) весом около 433 КБ и ~384 тыс. параметров от автора rodrigovzq. Модель принимает 4-секундный отрезок английской речи в виде MFCC-признаков (мел-кепстральных коэффициентов, описывающих спектр звука) и выдаёт вероятности для 7 эмоций: злость, отвращение, страх, радость, нейтральность, грусть и удивление. Подойдёт разработчикам носимой электроники и embedded-устройств, которым нужен локальный анализ речи без облака и мощного железа.
Ключевые особенности
- Сверхлёгкий вес: ~433 КБ и 384 208 параметров в INT8-квантовании, требует всего 512 КБ PSRAM под тензорную арену на ESP32-S3.
- Почти без потерь от квантования: версия v12 сохраняет 99,89% точности исходной float32-модели (71,81% против 71,90% на валидации).
- Две версии под разные платы: v12 настроена под Waveshare ESP32-S3-Touch-AMOLED 2.06 (аудиокодек ES7210), а v11.1 — под LilyGO T-Circle S3.
- Ускорение на уровне железа: 5 из 6 типов операций графа исполняются через оптимизированные ядра библиотеки ESP-NN.
Что можно сделать
- Встроить офлайн-определение 7 эмоций в носимые гаджеты и умные устройства на базе ESP32-S3 с помощью
esp-tflite-micro. - Протестировать качество и скорость работы INT8-квантования и ядер ESP-NN на собственных платах с микрофонами MEMS или кодеком ES7210.
- Использовать модель как готовый ориентир для отладки аудиопайплайнов (MFCC, CMN-нормализация и z-score) в embedded-проектах.
Пример
import numpy as np
import tensorflow as tf
interp = tf.lite.Interpreter(model_path="v12/ser_v12_int8.tflite")
interp.allocate_tensors()
inp, out = interp.get_input_details()[0], interp.get_output_details()[0]
scale, zero = inp["quantization"]
q = np.clip(np.round(mfcc / scale) + zero, -128, 127).astype(np.int8)
interp.set_tensor(inp["index"], q.reshape(1, 40, 100, 1))
interp.invoke()
probs = (interp.get_tensor(out["index"]).astype(np.float32) + 128.0) / 256.0Подробнее
Метрики v12: точность 71,81% (macro F1 — 0,733) на валидации из 4864 сэмплов и 60,71% (17 из 28 записей) вживую на плате; у v11.1 — 49,92% на отложенной MEMS-выборке.Обучение: актёрская английская речь (CREMA-D, RAVDESS, TESS, SAVEE) плюс перезаписи через микрофоны целевых плат.
Ограничения: работает только с английской речью, не поддерживает потоковый режим (строго окна по 4 с при 44,1 кГц) и не имеет класса тишины.
Лицензия: Apache-2.0.










Comments