Weed Swin
детектор сорняков и культур на фото
2 min readupdated
Модель находит на снимках четыре класса объектов: сорняки, салат, сеянцы шпината и шпинат на стадии роста. Это небольшая (0,07 млрд параметров) четырёхклассовая Swin-S Mask R-CNN (детектор с сегментацией) от haiquanli: на выходе — боксы, маски, оценки уверенности и классы в координатах исходного изображения. В отличие от исходной weed_swin, здесь лучший чекпоинт по validation-mask (эпоха 32) из запуска на 42 эпохи и обучение с адаптивным выбором кропов по медианному размеру объектов на каждом фото. Инференс идёт по целым фотографиям без разметки объектов. Пригодится разработчикам CV и агротех-проектам, которым нужно быстро размечать грядки и оценивать засорённость.
Ключевые особенности
- Четыре класса: сорняк, салат, сеянец шпината и шпинат на стадии роста.
- Swin-S Mask R-CNN выдаёт боксы и маски, а не только классы.
- При обучении кропы подбираются по медианному размеру объектов на каждом фото; в том же эксперименте это дало Mask mAP 49,05% против 47,65% у фиксированных сеток.
- Инференс по целому фото: разметка объектов не нужна.
- В репозитории кастомный Python-код, нужен trust_remote_code.
Что можно сделать
- Прогонять фото грядок и получать г��товые маски и боксы для сорняков, салата и шпината.
- Считать найденные объекты по классам на серии снимков и собирать статистику засорённости.
- Встроить модель в Python-пайплайн на Transformers для автоматической разметки или проверки результатов.
- Использовать как отправную точку для сравнения других детекторов на своих агро-фото.
Пример
from transformers import AutoImageProcessor, AutoModelForObjectDetection
from PIL import Image, ImageOps
repo = 'haiquanli/weed_swin_dynamic_crop'
model = AutoModelForObjectDetection.from_pretrained(repo, trust_remote_code=True)
processor = AutoImageProcessor.from_pretrained(repo, trust_remote_code=True)
image = ImageOps.exif_transpose(Image.open('plants.jpg')).convert('RGB')
inputs = processor(images=image, return_tensors='pt')
outputs = model(**inputs, score_threshold=0.25)
Подробнее
На 126 отложенных фото и 1 270 объектах: Mask mAP 49,05%, Mask AP50 74,21%, Box mAP 54,08%.Нужно окружение MMDetection 3.x с MMCV 2.1.0, MMEngine, PyTorch и Transformers; код модели кастомный.
Ограничения: разметка сорняков может быть неполной, эксперимент с одним seed, метрики исходного репозитория считались на кропах и напрямую не сравнимы.










Comments