FarmSAM

FarmSAM — набор student-чекпоинтов для видеотрекера SAM 3. Компактный TinyViT-21M-512 заменяет backbone SAM 3 и дистиллируется на неразмеченных кадрах одной фермы; остальной трекер остаётся без изменений. В карточке: три student-модели для телят, свиней PigTrack и Edinburgh, по 40,66 млн параметров в backbone и 60,20 млн всего вместе с трекером.

🔥 Ключевые особенности

• 🦾 Backbone на 91% меньше и в 3,6 раза быстрее, чем у SAM 3.
• 👁 Вход 1024×1024, выход карты признаков [1, 1024, 72, 72].
• ✅ На молочных телятах identity-correct 99,23% против 99,80% у SAM 3.
• 📉 На Edinburgh pigs HOTA 74,05 против 75,54 у SAM 3; на PigTrack — 73,25 против 85,87.
• 🐾 Один student на датасет: выбирайте ближайший сценарий или дистиллируйте свой.
• ⬇ Нужны собственные веса SAM 3 от Meta и принятие условий доступа facebook/sam3.

😎 Пример

path = hf_hub_download("Sonam5/FarmSAM", "calf/calf_student_night_mined/best_backbone_student_v2.pt")
student, meta = core.load_student(path, device="cuda")
x = core.make_student_transform()(Image.open("frame.jpg").convert("RGB"))
features = student(x[None].to("cuda", torch.bfloat16))
# [1, 1024, 72, 72]

Подробнее

Скорость: 4,83–5,01 fps end-to-end против 3,25 fps у SAM 3 на одной A10, 4 объекта, с декодированием кадров.
Backbone student: 41,56–42,61 мс на кадр против 152,46 мс у SAM 3.
load_student сам выбирает EMA-веса; .pt — pickle, проверяйте SHA-256.
Ограничения: нужны стартовые боксы/маски/детектор; Edinburgh — non-commercial; веса под SAM License; не для трекинга людей.