MAAP3D ModelZoo
репозиторий моделей для детекции и поз животных
2 мин чтенияобновлено
Репозиторий MAAP3D ModelZoo содержит предварительно обученные модели и конфигурации для обнаружения объектов (bounding-box detection) и оценки ключевых точек или поз (keypoint estimation) различных животных. В набор вошли шесть пар конфигураций и чекпоинтов для поз, а также четыре детектора для таких видов, как птицы, приматы и врановые. Все модели находятся в статусе черновиков (draft), а их инференс пока не проходил валидацию в рамках этого репозитория. Набор пригодится исследователям поведения животных и разработчикам, использующим фреймворк MAAP3D и MMPose.
Ключевые особенности
- Шесть групп видов: включены модели для обезьян, птиц, ворон, синиц, сибирских соек и голубей.
- Конфигурации и чекпоинты: поставляются файлы весов (например, .pt и .pth) и конфигурационные скрипты для MMPose.
- Гигланция с открытым кодом: модели распространяются под лицензией AGPL-3.0-or-later для оригинального вклада MAAP3D с сохранением условий upstream-проектов.
- Стандартизированные метаданные: каждая модель содержит JSON-описание с именами классов, списком суставов и путями к весам.
Что можно сделать
- Применить для детекции: использовать файлы детекторов для поиска птиц или приматов на изображениях.
- Оценить позы животных: применить топовые модели позов (требующие предварительного нахождения боксов детектором) для анализа движений в исследованиях.
- Интегрировать в MAAP3D: загрузить веса и конфигурации для работы в локальном окружении MAAP3D.
- Дополнить зоопарк моделей: добавить собственные веса и конфигурации в соответствии с правилами именования метаданных репозитория.
Пример
Модели используют структуру файлов, где в качестве префикса используется идентификатор модели, например: pigeon-detection.pt для детектора голубей, pigeon-pose.pth для весов поз и pigeon-pose.py для конфигурации MMPose. Для запуска требуется подключить локальные пути к загруженным файлам конфигурации и весов в среде MAAP3D.
Подробнее
Состав: 6 пар конфигов и чекпоинтов поз, 4 детектора
Покрытие: приматы (шимпанзе, бонобо), врановые, голуби, синицы, сойки
Статус: черновики (draft), инференс не валидирован авторами
Зависимости: требуются детекционные боксы для моделей оценки поз (top-down оценщики)










Комментарии