leaftrack-yolo11s-seg
поштучная сегментация листьев на снимках растений
2 мин чтенияобновлено
Модель компьютерного зрения для instance segmentation (выделения контуров каждого отдельного объекта на изображении): она находит и сегментирует каждый лист на фотографиях растений, снятых сверху. На выходе система возвращает список объектов LeafInstance с маской, ограничивающей рамкой (box) и оценкой уверенности для каждого листа. Модель построена на архитектуре YOLO11-seg (библиотека Ultralytics) от автора Awais05 и обучена с помощью фреймворка LeafTrack на датасете KOMATSUNA. В отличие от стандартного вывода Ultralytics, в связке с фильтром соседних листьев модель решает проблему слипания и перекрытия контуров при подсчёте. Пригодится исследователям фенотипирования растений, разработчикам агротех-сервисов и автоматизированных систем мониторинга теплиц.
Ключевые особенности
- Высокая точность выделения контуров: на тестовой выборке модель достигает Mask mAP50 0.965 и Box mAP50 0.968.
- Встроенная постобработка: фильтр соседних листьев (neighbour-leaf filter) повышает точность определения точного количества листьев на снимке с 23% до 85% (метрика SBD вырастает с 0.766 до 0.934).
- Работает даже без видеокарты: медианная задержка инференса на CPU (2 потока, разрешение 640) составляет 672 мс на изображение.
- Открытая лицензия MIT разрешает свободное использование весов в коммерческих и научных проектах.
Что можно сделать
- Автоматизировать подсчёт листьев и отслеживание динамики роста рассады по фотографиям с камер верхнего обзора.
- Встроить модель в пайплайны цифрового фенотипирования растений для оценки площади листовой поверхности по полученным маскам.
- Развернуть локальный скрипт анализа снимков растений на обычном сервере или мини-ПК без GPU благодаря приемлемой скорости работы на CPU.
Пример
from leaftrack.segment import LeafSegmenter
segmenter = LeafSegmenter.from_hub("Awais05/leaftrack-yolo11s-seg")
leaves = segmenter.predict(rgb_image) # list of LeafInstance (mask, box, confidence)
Подробнее
Метрики на тесте (240 изображений, порог 0.25 + фильтр соседних листьев): Mask mAP50-95 — 0.806, SBD — 0.934 ± 0.057, FBD — 0.971, точный подсчёт листьев (Exact count) — 85%.Скорость на CPU (2 потока, imgsz 640): медиана 672 мс, p90 — 841 мс на кадр.
Обучение: датасет KOMATSUNA (Uchiyama et al., 2017) с разделением по отдельным растениям, чтобы тестовые экземпляры не встречались при обучении; лицензия MIT.










Комментарии