К содержимому
Аудио

MoodLink emotion CNN

распознавание эмоций в речи на ESP32-S3

2 мин чтенияобновлено

Компактная свёрточная нейросеть для классификации эмоций по голосу прямо на микроконтроллерах ESP32-S3. В репозитории лежат две квантованные INT8-версии в формате TensorFlow Lite (v11.1 и v12) весом около 433 КБ и ~384 тыс. параметров от автора rodrigovzq. Модель принимает 4-секундный отрезок английской речи в виде MFCC-признаков (мел-кепстральных коэффициентов, описывающих спектр звука) и выдаёт вероятности для 7 эмоций: злость, отвращение, страх, радость, нейтральность, грусть и удивление. Подойдёт разработчикам носимой электроники и embedded-устройств, которым нужен локальный анализ речи без облака и мощного железа.

Ключевые особенности

  • Сверхлёгкий вес: ~433 КБ и 384 208 параметров в INT8-квантовании, требует всего 512 КБ PSRAM под тензорную арену на ESP32-S3.
  • Почти без потерь от квантования: версия v12 сохраняет 99,89% точности исходной float32-модели (71,81% против 71,90% на валидации).
  • Две версии под разные платы: v12 настроена под Waveshare ESP32-S3-Touch-AMOLED 2.06 (аудиокодек ES7210), а v11.1 — под LilyGO T-Circle S3.
  • Ускорение на уровне железа: 5 из 6 типов операций графа исполняются через оптимизированные ядра библиотеки ESP-NN.

Что можно сделать

  • Встроить офлайн-определение 7 эмоций в носимые гаджеты и умные устройства на базе ESP32-S3 с помощью esp-tflite-micro.
  • Протестировать качество и скорость работы INT8-квантования и ядер ESP-NN на собственных платах с микрофонами MEMS или кодеком ES7210.
  • Использовать модель как готовый ориентир для отладки аудиопайплайнов (MFCC, CMN-нормализация и z-score) в embedded-проектах.

Пример

import numpy as np
import tensorflow as tf

interp = tf.lite.Interpreter(model_path="v12/ser_v12_int8.tflite")
interp.allocate_tensors()
inp, out = interp.get_input_details()[0], interp.get_output_details()[0]
scale, zero = inp["quantization"]
q = np.clip(np.round(mfcc / scale) + zero, -128, 127).astype(np.int8)
interp.set_tensor(inp["index"], q.reshape(1, 40, 100, 1))
interp.invoke()
probs = (interp.get_tensor(out["index"]).astype(np.float32) + 128.0) / 256.0
ПодробнееМетрики v12: точность 71,81% (macro F1 — 0,733) на валидации из 4864 сэмплов и 60,71% (17 из 28 записей) вживую на плате; у v11.1 — 49,92% на отложенной MEMS-выборке.
Обучение: актёрская английская речь (CREMA-D, RAVDESS, TESS, SAVEE) плюс перезаписи через микрофоны целевых плат.
Ограничения: работает только с английской речью, не поддерживает потоковый режим (строго окна по 4 с при 44,1 кГц) и не имеет класса тишины.
Лицензия: Apache-2.0.
Обсудить Telegram 0 10

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # rodrigovzq/moodlink-emotion-cnn
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download rodrigovzq/moodlink-emotion-cnn --local-dir ~/models/moodlink-emotion-cnn
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к moodlink-emotion-cnn
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии moodlink-emotion-cnn — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

rodrigovzq/moodlink-emotion-cnn
Автор
rodrigovzq
Категория
Аудио
Дата выхода
На сайте

На сайте

Hugging Face

100

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Языковые модели

Emotion-S1

Emotion-S1