dec_models
набор ONNX-моделей для робота-гида на ROS 2
2 min readupdated
Репозиторий от проекта cssr4africa представляет собой готовый комплект нейросетей в формате ONNX (открытый формат для быстрого запуска моделей на разном железе) для системы pepper4dec — робота-экскурсовода Pepper на базе ROS 2 в центре Upanzi Digital Experience Center при Carnegie Mellon University Africa. Внутри собраны четыре проверенные модели компьютерного зрения и обработки звука, разложенные по папкам так, чтобы пакеты ROS 2 могли сразу их подхватить без ручной конвертации. Сборка решает базовые задачи восприятия: поиск людей и лиц в кадре, определение поворота головы собеседника и фиксацию начала речи. Подойдёт разработчикам в области робототехники и инженерам, собирающим интерактивных ассистентов на ROS 2.
Ключевые особенности
- Детекция людей построена на базе YOLO11m от Ultralytics (обучена на датасете COCO).
- Для поиска лиц и оценки положения головы (head pose) включены Gold-YOLO и 6DRepNet360.
- За распознавание голосовой активности отвечает легковесный детектор речи Silero VAD.
- Все веса уже экспортированы в формат ONNX и организованы по структуре директорий
/models/с проверкой контрольных сумм SHA-256 через скрипт загрузки.
Что можно сделать
- Развернуть систему зрительного и голосового контакта для сервисного или социального робота на ROS 2, чтобы он поворачивался к говорящему посетителю.
- Использовать готовые ONNX-файлы по отдельности в своих пайплайнах видеоаналитики или голосовых интерфейсах без самостоятельного экспорта весов из PyTorch.
Пример
Модели загружаются автоматически скриптом scripts/fetch_models.sh из репозитория pepper4dec и раскладываются по рабочим директориям пакетов ROS 2, например person_detection/models/person_detection_yolov11m.onnx и speech_event/models/silero_vad.onnx.
Подробнее
Состав: YOLO11m, Gold-YOLO, 6DRepNet360, Silero VAD в формате ONNXНазначение: загрузка пакетами ROS 2 в проекте pepper4dec (Carnegie Mellon University Africa)
Ограничения и лицензии: у каждого файла своя лицензия (AGPL-3.0 для YOLO11m, GPL-3.0 для Gold-YOLO, MIT для 6DRepNet360 и Silero VAD), отличная от BSD-3-Clause самого проекта pepper4dec










Comments