FER2013-Project
распознавание эмоций по лицу прямо в браузере
2 мин чтенияобновлено
Проект от разработчика Wizzas объединяет четыре классификатора мимики, обученных на датасете FER2013: кастомную свёрточную сеть (Custom CNN) и три модели на базе transfer learning (перенос обучения) — ResNet50, MobileNetV2 и VGG16. На вход модели принимают обрезанное лицо 48×48 пикселей и выдают вероятности для семи базовых эмоций: злость, отвращение, страх, радость, нейтральное выражение, грусть и удивление. Все чекпоинты сконвертированы из Keras в формат ONNX (универсальный формат для запуска нейросетей), поэтому работают локально на устройстве пользователя без отправки фото на сервер. Подойдёт для экспериментов с компьютерным зрением, сравнения архитектур и встраивания лёгкой аналитики мимики в веб-приложения.
Ключевые особенности
- Сравнение четырёх архитектур: кастомная CNN обошла тяжёлые предобученные сети по точности на тесте и весит всего 5.25 МБ.
- Полностью клиентский инференс: модели в формате float32 ONNX запускаются через ONNX Runtime Web прямо в браузере без бэкенда на Python.
- Встроенный поиск лиц: в веб-демо используется детектор OpenCV YuNet, а в десктопном скрипте
main.py— каскады Хаара (Haar cascade). - Подробная аналитика обучения: в репозитории сохранены матрицы ошибок, ROC-кривые и визуализации Grad-CAM (тепловые карты внимания нейросети).
Что можно сделать
- Протестировать распознавание мимики в реальном времени с веб-камеры или на загруженных фото через статическое веб-приложение.
- Встроить лёгкий ONNX-файл Custom CNN (5.25 МБ) в собственный фронтенд или десктоп-сервис на OpenCV с открытой лицензией MIT.
- Воспроизвести обучение в Jupyter-ноутбуках на TensorFlow/Keras и сравнить поведение разных архитектур на своих данных.
Пример
py -m http.server 8000 --directory .\project_demo
Подробнее
Точность на тесте FER2013 (7 178 изображений): Custom CNN — 66.00%, ResNet50 — 61.23%, MobileNetV2 — 60.34%, VGG16 — 60.13%.Размер ONNX-моделей: от 5.25 МБ (Custom CNN) до 96.31 МБ (ResNet50).
Ограничения: модели определяют только визуальный паттерн мимики, а не реальное внутреннее состояние человека; качество зависит от освещения и ракурса.
Лицензия: MIT.










Комментарии