К содержимому
Другое

Point-SAM Wytham LoRA

сегментация отдельных деревьев в LiDAR-сканах

2 мин чтенияобновлено

Это исследовательский чекпоинт Point-SAM (ViT-L, 311,8 млн параметров), дообученный в Georgia Tech находить отдельные деревья в наземных лазерных сканах. Вы даёте модели точку-«клик» на стволе, а она возвращает точки облака, которые относит к этому дереву. От базовой yuchen0187/Point-SAM модель отличается LoRA-адаптерами и обученными частями энкодеров и декодера — всего дообучено 5,8 млн параметров. На тестовой полосе Wytham она заметно лучше исходных весов, но пока не готова работать как автоматический сегментатор: rule-based TreeX на этом лесу всё ещё точнее. Пригодится исследователям LiDAR, лесной экологии и тем, кто строит пайплайны учёта деревьев по 3D-сканам.

Ключевые особенности

  • LoRA rank 8, alpha 16 в query/value-проекциях attention; дополнительно обучены patch embedding, prompt encoder, mask encoder и mask decoder.
  • Адаптеры слиты с весами: файл загружается так же, как оригинальный Point-SAM.
  • Обучение на ISPRS Wytham: 431 дерево, 182 кропа по 12 м, по 10 000 точек без цвета; 3 000 шагов примерно за 33 прохода.
  • На test strip F1@IoU 0.5 вырос с 0.006/0.000 у оригинала до 0.181/0.185 в зависимости от способа кликов.
  • Маски ограничены: даже с идеальным кликом только 40% деревьев получают маску с перекрытием не меньше половины; частая ошибка — захват соседнего дерева.

Что можно сделать

  • Проверить пайплайн на своих наземных LiDAR-сканах: убрать землю, расставить клики, получить маски и слить их в ноутбуках проекта.
  • Дообучить чекпоинт под другой лес или сканер, если есть размеченные клики и маски деревьев.
  • Сравнить Point-SAM с TreeX и другими методами по F1/IoU на своих тайлах, чтобы понять, где нейросеть выигрывает.
  • Использовать как стартовую модель в исследовании promptable-сегментации 3D-облаков, а не как готовый продакшн-инструмент.

Пример

from huggingface_hub import hf_hub_download
from treeseg.models.point_sam import build_point_sam

path = hf_hub_download("haag-lidar/point-sam-wytham-lora", "model.safetensors")
model = build_point_sam(path, 512, 64).to("cuda").eval()
ПодробнееF1 на test strip: 0.181 со Stem-finder clicks и 0.185 с TreeX clicks; у оригинала — 0.006 и 0.000.
На val strip с идеальными кликами F1 0.44, а TreeX без модели — 0.66; маски часто перетекают на соседнее дерево.
Нужна NVIDIA GPU: Point-SAM зависит от CUDA-only библиотеки torkit3d. Обучение заняло около 20 минут на одной H100.
Проверено на одном лесу (Wytham Woods, UK) и одном сканере; мелкая структура ветвей не видна, цвет и интенсивность не используются.
Обсудить Telegram 0

Запустится ли?

Запустится в F32

Влезает без сжатия.

  • F32веса 1.2 GB · готовые файлы1.8 GB
  • BF16веса 0.6 GB1.1 GB
  • FP8 / INT8рекомендуемвеса 0.3 GB0.8 GB
  • 4-bitвеса 0.2 GB0.7 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · F32 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # haag-lidar/point-sam-wytham-lora
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download haag-lidar/point-sam-wytham-lora --local-dir ~/models/point-sam-wytham-lora
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к point-sam-wytham-lora
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

yuchen0187/Point-SAM

Новые посты про версии Point-SAM — сжатые, дообучения, LoRA — появятся в колокольчике.

Дообучения 1Все на Hugging Face

О модели

haag-lidar/point-sam-wytham-lora
Автор
haag-lidar
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии