К содержимому
Компьютерное зрение

camera-island-lora

распознавание редких животных и видов на фотоловушках

2 мин чтенияобновлено

Модель решает две конкретные задачи: классифицирует снимки с полевых фотоловушек и распознает эндемичные виды животных на Галапагосских островах, для которых у стандартных систем вроде SpeciesNet нет меток. В основу легла легкая мультимодальная модель LLaVA-OneVision 0.5B (с размером около 0.89 млрд параметров), дообученная с помощью LoRA (небольшой обучаемой надстройки над весами) на 2,902 размеченных кадрах. Новинка обходит базовую версию и стандартные инструменты на специфических задачах вроде различения игуан или поиска инвазивных крыс. Проект пригодится экологам, исследователям дикой природы и разработчикам природоохранных систем.

Ключевые особенности

  • Точная специализация: обучена на распознавание редких галапагосских видов (игуан, пересмешников) и вредителей.
  • Легкая архитектура: базируется на компактной LLaVA-OneVision (0.5B параметров), что упрощает запуск.
  • Высокая точность: показывает до 93.3% на сложных тестах различения похожих птиц и рептилий.
  • Быстрое обучение: LoRA-адаптер собран всего за три часа на одном десктопном компьютере (Mac Studio).

Что можно сделать

  • Анализ фотоловушек: автоматически определять животных на кадрах с полевых камер по заранее заданному списку.
  • Охрана природы: классифицировать эндемичных галапагосских животных и выявлять инвазивных крыс в заповедниках.
  • Экологический мониторинг: интегрировать модель в пайплайны полевых исследований для быстрой сортировки снимков.
  • Кастомизация пайплайнов: использовать репозиторий для сборки собственных легковесных мультимодальных классификаторов.

Пример

import torch
from PIL import Image
from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration

repo = "andrewxhill/camera-island-lora"
processor = AutoProcessor.from_pretrained(repo)
model = LlavaOnevisionForConditionalGeneration.from_pretrained(repo, dtype=torch.float32).eval()

question = "Which animal is shown in this crop?\nA. marine iguana\nB. common green iguana"
messages = [{"role": "user", "content": [{"type": "image", "image": Image.open("crop.jpg").convert("RGB")}, {"type": "text", "text": question}]}]
inputs = processor.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt")
out = model.generate(**inputs, do_sample=False, max_new_tokens=64)
print(processor.decode(out[0, inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
ПодробнееТочность модели: 93.33% для птиц (mockingbird против brown noddy) и 91.69% для морских игуан.
Обучение: ранг LoRA равен 8 (alpha 16), обновлены query- и value-матрицы во всех 24 языковых блоках (всего 540,672 параметра).
Лицензия: CC BY-NC 4.0 (базовые компоненты под Apache-2.0, данные iNaturalist имеют ограничения для коммерческого использования).
Обсудить Telegram 0 3

Запустится ли?

Запустится в F32

Влезает без сжатия.

  • F32веса 3.3 GB · готовые файлы4.2 GB
  • BF16веса 1.7 GB2.3 GB
  • FP8 / INT8рекомендуемвеса 0.8 GB1.4 GB
  • 4-bitвеса 0.5 GB1.0 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · F32 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # andrewxhill/camera-island-lora
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download andrewxhill/camera-island-lora --local-dir ~/models/camera-island-lora
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к camera-island-lora
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии llava-onevision-qwen2-0.5b-ov — сжатые, дообучения, LoRA — появятся в колокольчике.

Дообучения 12Все на Hugging Face
LoRA и адаптеры 8Все на Hugging Face

О модели

andrewxhill/camera-island-lora
Автор
andrewxhill
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

30

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии