Sapiens2-1B-Pose
сверхточная разметка позы человека на 308 точек
2 min readupdated
Модель определяет позу человека на изображениях с высокой детализацией, расставляя сразу 308 ключевых точек (keypoints) по формату Sociopticon. Из них 274 точки приходятся на детальное лицо, а остальные охватывают тело, кисти рук и стопы. Чекпоинт разработан в Meta и дообучен на базе предобученной архитектуры Vision Transformer Sapiens2-1B. Модель работает по принципу top-down (сначала детектор находит человека, затем нейросеть строит скелет внутри рамки) и пригодится исследователям компьютерного зрения и разработчикам систем трекинга движений.
Ключевые особенности
- 308 ключевых точек: сверхплотная сетка на лице (274 точки) плюс детальная разметка пальцев рук и стоп.
- Архитектура Sapiens2: ViT-бэкбон на 1.462 млрд параметров с 40 слоями и головой для оценки позы.
- Работа в связке с детектором: для поиска людей в кадре перед оценкой позы используется детектор RTMDet.
- Готовый вес: модель распространяется в безопасном формате
safetensors.
Что можно сделать
- Снимать детализированный трекинг мимики, жестов и положения тела с обычных фотографий или кадров видео.
- Использовать в научных проектах и R&D по анализу движений человека (human-centric vision).
- Применять для точного извлечения скелетов и карт позы при подготовке данных для генеративных пайплайнов.
Пример
hf download facebook/sapiens2-pose-1b sapiens2_1b_pose.safetensors --local-dir ~/sapiens2_host/pose
cd $SAPIENS_ROOT/sapiens/pose
./scripts/demo/keypoints308.sh
Подробнее
Разрешение инференса: 1024 × 768 (H × W), размер патча — 16.Вычислительная сложность бэкбона: 4.715 T FLOPs (1.462B параметров бэкбона, 1.52B всего).
Требует предварительного выделения границ человека (bounding boxes) сторонним детектором, например RTMDet.
Лицензия: Sapiens2 License.










Comments