Point-SAM Wytham LoRA
сегментация отдельных деревьев в LiDAR-сканах
2 мин чтенияобновлено
Это исследовательский чекпоинт Point-SAM (ViT-L, 311,8 млн параметров), дообученный в Georgia Tech находить отдельные деревья в наземных лазерных сканах. Вы даёте модели точку-«клик» на стволе, а она возвращает точки облака, которые относит к этому дереву. От базовой yuchen0187/Point-SAM модель отличается LoRA-адаптерами и обученными частями энкодеров и декодера — всего дообучено 5,8 млн параметров. На тестовой полосе Wytham она заметно лучше исходных весов, но пока не готова работать как автоматический сегментатор: rule-based TreeX на этом лесу всё ещё точнее. Пригодится исследователям LiDAR, лесной экологии и тем, кто строит пайплайны учёта деревьев по 3D-сканам.
Ключевые особенности
- LoRA rank 8, alpha 16 в query/value-проекциях attention; дополнительно обучены patch embedding, prompt encoder, mask encoder и mask decoder.
- Адаптеры слиты с весами: файл загружается так же, как оригинальный Point-SAM.
- Обучение на ISPRS Wytham: 431 дерево, 182 кропа по 12 м, по 10 000 точек без цвета; 3 000 шагов примерно за 33 прохода.
- На test strip F1@IoU 0.5 вырос с 0.006/0.000 у оригинала до 0.181/0.185 в зависимости от способа кликов.
- Маски ограничены: даже с идеальным кликом только 40% деревьев получают маску с перекрытием не меньше половины; частая ошибка — захват соседнего дерева.
Что можно сделать
- Проверить пайплайн на своих наземных LiDAR-сканах: убрать землю, расставить клики, получить маски и слить их в ноутбуках проекта.
- Дообучить чекпоинт под другой лес или сканер, если есть размеченные клики и маски деревьев.
- Сравнить Point-SAM с TreeX и другими методами по F1/IoU на своих тайлах, чтобы понять, где нейросеть выигрывает.
- Использовать как стартовую модель в исследовании promptable-сегментации 3D-облаков, а не как готовый продакшн-инструмент.
Пример
from huggingface_hub import hf_hub_download
from treeseg.models.point_sam import build_point_sam
path = hf_hub_download("haag-lidar/point-sam-wytham-lora", "model.safetensors")
model = build_point_sam(path, 512, 64).to("cuda").eval()
Подробнее
F1 на test strip: 0.181 со Stem-finder clicks и 0.185 с TreeX clicks; у оригинала — 0.006 и 0.000.На val strip с идеальными кликами F1 0.44, а TreeX без модели — 0.66; маски часто перетекают на соседнее дерево.
Нужна NVIDIA GPU: Point-SAM зависит от CUDA-only библиотеки torkit3d. Обучение заняло около 20 минут на одной H100.
Проверено на одном лесу (Wytham Woods, UK) и одном сканере; мелкая структура ветвей не видна, цвет и интенсивность не используются.










Комментарии