drowsiness-detection-landmarks
детектор 98 точек лица для контроля сонливости
2 мин чтенияобновлено
Модель находит на каждом лице в кадре 98 ключевых точек по схеме WFLW, чтобы точно измерять степень раскрытия глаз (метрику EAR — Eye Aspect Ratio) и отличать обычное моргание от долгого засыпания. В основе лежит дообученный ResNet-18 с кастомной головой на 15,4M параметров и слоем soft-argmax для субпиксельной точности, а для первичного поиска лиц в комплект уже встроен детектор YuNet. В отличие от базовых детекторов точек, автор специально усилил обучение на закрытых глазах, поэтому модель находит их почти в три раза лучше стандартного бейзлайна (67,5% против 23,4%). Пригодится разработчикам систем мониторинга водителей, исследователям компьютерного зрения и для учебных прототипов на CPU.
Ключевые особенности
- Фокус на области глаз: при обучении точкам глаз назначен восьмикратный вес в функции потерь, а примеры с закрытыми глазами встречались в 8 раз чаще.
- Полный пайплайн из коробки: внутри репозитория уже есть ONNX-модель детектора YuNet и скрипт
predict.py, который сразу возвращает координаты в масштабе исходного кадра. - Лёгкий запуск на CPU: вся модель весит 15,4M параметров и обрабатывает изображение за ~150 мс на процессоре ноутбука даже с учётом зеркального TTA (усреднения предсказаний).
- Субпиксельная точность: слой soft-argmax вычисляет координаты напрямую по тепловым картам 64×64, что критично, когда высота глаза в кропе 256×256 составляет около 10 пикселей.
Что можно сделать
- Собрать прототип системы контроля усталости водителя по веб-камере (готовое видеоприложение
app.pyесть в GitHub-репозитории автора). - Встроить офлайн-трекинг моргания и положения контуров лица в локальное Python-приложение без GPU и обращения к внешним API.
- Использовать веса и код обучения как наглядный учебный пример задачи keypoint detection с кастомной балансировкой редких классов.
Пример
import cv2
from predict import LandmarkModel
model = LandmarkModel("modelo.pt", device="cpu")
image = cv2.cvtColor(cv2.imread("photo.jpg"), cv2.COLOR_BGR2RGB)
landmarks = model.predict(image) # (N, 98, 2) в пикселях исходного кадра
Подробнее
Метрики на WFLW test (2 500 лиц): общий NME 5,12%, NME по глазам 3,27%, доля обнаруженных закрытых глаз 67,5% (при 5,2% ложных срабатываний).Железо: работает на CPU (~150 мс на кадр с детекцией и flip TTA), обучение проводилось на NVIDIA RTX A6000.
Ограничения: хуже справляется с сильными поворотами головы (NME 9,22%), реагирует на улыбку или взгляд вниз как на прищур, не тестировалась на ИК-камерах; лицензия CC BY-NC 4.0 (только некоммерческое использование).










Комментарии