AIWorker Arm Segmentation v1

AIWorker-Arm-Segmentation-v1 — файнтюн на базе facebook/sam3 от автора Dongkkka. Модель сегментирует видимые руки, кисти, захваты, пальцы и закреплённые камеры записывающего робота AI Worker на RGB-снимках с головной и наручных камер и выдаёт instance-маски, bounding boxes и scores.

✅ Ключевые особенности

• 🦾 Базируется на facebook/sam3; задача — mask-generation, библиотека sam3.
• 👁 Возвращает instance-маски, bounding boxes и scores для найденных областей.
• 🤚 Работает с RGB-изображениями с головной и наручных камер робота.
• ✅ Быстрый запуск: BF16 CUDA GPU, Python 3.12; протестировано на PyTorch 2.10, CUDA 12.8 и GPU 8 ГБ.
• ⬇ Скрипт predict.py сохраняет mask.png (union-маска в нативном разрешении) и instances.npz с masks, boxes_xyxy и scores.
• 😐 Ограничения: дальние части рук могут пропускаться, а фон или другие роботы — иногда попадать в маску.

💥 Пример

pip install torch==2.10.0 torchvision==0.25.0 --index-url https://download.pytorch.org/whl/cu128
pip install huggingface_hub
hf download Dongkkka/AIWorker-Arm-Segmentation-v1 --include requirements.txt predict.py inference_config.json --local-dir aiworker-arm
pip install -r aiworker-arm/requirements.txt
python aiworker-arm/predict.py input.jpg --output-dir prediction

Подробнее

Оценка: 1 317 изображений для разработки; референсы автоматические/AI-assisted, не независимый человеческий ground truth.
Железо: BF16 CUDA GPU, Python 3.12; тестировали PyTorch 2.10, CUDA 12.8 и GPU на 8 ГБ.
Ограничения: дальние части рук могут пропускаться; фон или другие роботы иногда выбираются; люди, другие роботы и объекты в руках — не целевые.
Обучение: файнтюн на изображениях робота AI Worker; лицензия SAM License, производная от Meta SAM3.