yishou
распознавание жестов кисти одной рукой
2 мин чтенияобновлено
Эта компактная модель на основе MLP (многослойного перцептрона) определяет китайские цифровые жесты от 1 до 10 по 21 ключевой точке (landmarks), полученным с помощью MediaPipe. На вход подаются 63 нормализованных признака (координаты x, y, z), а на выходе модель выдает один из 11 классов (цифры от 1 до 10 или отсутствие жеста). Решение подойдет для разработчиков, создающих жестовые интерфейсы или интерактивные приложения с управлением руками через веб-камеру.
Ключевые особенности
- 11 классов: распознавание чисел от 1 до 10 по одному пальцу, открытой ладони, кулаку и другим конфигурациям, а также класс для остальных жестов.
- Точность 96.4%: валидация на полностью отложенных записях (4051 валидационных и 7052 тренировочных кадра).
- Легковесность: простая архитектура MLP быстро работает в реальном времени совместно с библиотекой MediaPipe.
Что можно сделать
- Интерактивные демо: запустить встроенную демонстрацию через командную строку для проверки работы модели в реальном времени с веб-камеры.
- Жестовое управление: интегрировать распознавание чисел одной рукой в свои скрипты на Python для бесконтактного управления приложениями.
- Эксперименты с MediaPipe: использовать модель как готовую основу для проектов компьютерного зрения, завязанных на анализ положения кистей рук.
Пример
Для установки пакета и запуска встроенного демо по распознаванию жестов используется следующая команда из репозитория:
pip install git+[https://github.com/sparkup/yishou](https://github.com/sparkup/yishou)
yishou demo --model dworsleytonks/yishouПодробнее
Точность на валидации: 96.4% (на основе 4051 валидационного и 7052 тренировочного кадров).Ограничения: все данные записаны одним человеком с одной веб-камеры, поэтому на других руках, камерах и при ином освещении точность может быть ниже.










Комментарии