Emotion-S1
быстрый детектор эмоций в диалоге на CPU
2 мин чтенияобновлено
Компактная модель от автора davolu для определения эмоций пользователя в переписке. Она построена на базе энкодера ModernBERT-base (~150M параметров) и умеет за один проход отвечать на три типа вопросов о последней реплике с учётом до 4 предыдущих сообщений: выбрать эмоцию из заданного списка, оценить её интенсивность по шкале от 1 до 5 или ответить «да/нет» (например, нужна ли поддержка). В отличие от тяжёлых LLM вроде Claude или GPT, модель весит около 596 МБ и работает локально на CPU без расходов на API. Подойдёт разработчикам чат-ботов и пайплайнов маршрутизации на английском языке, где важны низкая задержка и нулевая стоимость инференса.
Ключевые особенности
- Три специализированные головы: классификация из произвольного списка вариантов (choice), оценка интенсивности 1–5 (score) и бинарные вопросы с вероятностью (yes/no).
- Работа на обычном CPU: на 8-ядерном Intel Xeon медианная задержка составляет 40,5 мс на вопрос (и около 310 мс за пакет из четырёх вопросов сразу).
- Калибровка уверенности: каждая голова имеет собственную температуру в файле
heads.ptдля более точной оценки вероятностей. - Учёт контекста: принимает последнюю реплику и до 4 предыдущих ходов диалога (до 192 токенов).
Что можно сделать
- Быстрый роутер для техподдержки: проверять в реальном времени, раздражён ли пользователь и нужна ли ему эскалация на оператора, не тратя токены больших LLM.
- Разметка диалоговых логов: прогонять большие архивы англоязычных чатов локально на сервере для аналитики настроений.
- Каскадный пайплайн с LLM: использовать модель как дешёвый первый фильтр на знакомых типах диалогов и передавать сложные или нестандартные случаи в более крупные модели.
Пример
import sys
from huggingface_hub import snapshot_download
model_dir = snapshot_download("davolu/emotion-s1")
sys.path.insert(0, model_dir)
from emotion_s1_core import load_emotion_s1, ask
model = load_emotion_s1(model_dir, device="cpu")
out = ask(model, "I've asked three times and it's STILL broken.", {"frustrated": {"type": "noul", "question": "Is the user frustrated?"}})
Подробнее
На тестовых данных из своих доменов Emotion-S1 обходит Claude Sonnet 5.5 и GPT-6.1 Sol (точность choice 0.70 против 0.625–0.64, yes/no — 0.795), но на незнакомых датасетах (MELD, EmoWOZ) точность choice падает до 0.34.Вес чекпоинта — 596,1 МБ (fp32), GPU не требуется; загружается через собственный скрипт
emotion_s1_core.py, а не стандартный AutoModelForSequenceClassification.Ограничения: только английский язык, контекст до 192 токенов и лицензия CC BY-NC-SA 4.0 (только для исследований и некоммерческого использования).










Комментарии