TactoHand
оценка контакта и силы нажатия рук по RGB-видео
2 min readupdated
Модель анализирует обычное RGB-видео и предсказывает для обеих рук сразу четыре параметра: факт контакта, близость к поверхности, нормализованную силу нажатия и видимость. В основе лежит архитектура ViT-L из семейства DINOv3 (визуальный энкодер от Meta для извлечения признаков из изображений). В отличие от классических пайплайнов анализа кистей, для инференса не требуются 3D-ассеты MANO или заранее подготовленные датасеты — достаточно только видеопотока. Пригодится разработчикам в робототехнике, VR/AR и исследователям взаимодействия человека с объектами.
Ключевые особенности
- Построена на базе
timm/vit_large_patch16_dinov3.lvd1689m(DINOv3 ViT-L). - Работает с входным разрешением 256 пикселей и окнами по 32 кадра с частотой 10 Hz.
- Инференс на чистом RGB не требует MANO-моделей и сторонних датасетов.
- В комплекте идут веса
tactohand.ckpt(сохраняют и состояние обучения) и переносимый конфигtactohand.yaml.
Что можно сделать
- Использовать в робототехнике и обучении манипуляции для определения моментов касания и относительного усилия по видео с камеры.
- Встроить в VR/AR-системы или трекинг рук для детекции физического контакта без датчиков давления.
- Проводить разметку и анализ видеозаписей взаимодействия рук с предметами без 3D-реконструкции кисти.
Пример
Для запуска инференса скачайте вместе файлы tactohand.ckpt и tactohand.yaml, подайте на вход 32-кадровый фрагмент RGB-видео (256×256, 10 Hz) через скрипт из репозитория проекта и получите покадровые предсказания контакта, близости, видимости и нормализованной силы для левой и правой руки.
Подробнее
Выходные значения силы являются нормализованными предсказаниями, а не физическими величинами в ньютонах.Код модели распространяется под лицензией MIT, однако веса backbone подпадают под лицензию DINOv3.










Comments