camera-island-lora
распознавание редких животных и видов на фотоловушках
2 мин чтенияобновлено
Модель решает две конкретные задачи: классифицирует снимки с полевых фотоловушек и распознает эндемичные виды животных на Галапагосских островах, для которых у стандартных систем вроде SpeciesNet нет меток. В основу легла легкая мультимодальная модель LLaVA-OneVision 0.5B (с размером около 0.89 млрд параметров), дообученная с помощью LoRA (небольшой обучаемой надстройки над весами) на 2,902 размеченных кадрах. Новинка обходит базовую версию и стандартные инструменты на специфических задачах вроде различения игуан или поиска инвазивных крыс. Проект пригодится экологам, исследователям дикой природы и разработчикам природоохранных систем.
Ключевые особенности
- Точная специализация: обучена на распознавание редких галапагосских видов (игуан, пересмешников) и вредителей.
- Легкая архитектура: базируется на компактной LLaVA-OneVision (0.5B параметров), что упрощает запуск.
- Высокая точность: показывает до 93.3% на сложных тестах различения похожих птиц и рептилий.
- Быстрое обучение: LoRA-адаптер собран всего за три часа на одном десктопном компьютере (Mac Studio).
Что можно сделать
- Анализ фотоловушек: автоматически определять животных на кадрах с полевых камер по заранее заданному списку.
- Охрана природы: классифицировать эндемичных галапагосских животных и выявлять инвазивных крыс в заповедниках.
- Экологический мониторинг: интегрировать модель в пайплайны полевых исследований для быстрой сортировки снимков.
- Кастомизация пайплайнов: использовать репозиторий для сборки собственных легковесных мультимодальных классификаторов.
Пример
import torch
from PIL import Image
from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration
repo = "andrewxhill/camera-island-lora"
processor = AutoProcessor.from_pretrained(repo)
model = LlavaOnevisionForConditionalGeneration.from_pretrained(repo, dtype=torch.float32).eval()
question = "Which animal is shown in this crop?\nA. marine iguana\nB. common green iguana"
messages = [{"role": "user", "content": [{"type": "image", "image": Image.open("crop.jpg").convert("RGB")}, {"type": "text", "text": question}]}]
inputs = processor.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt")
out = model.generate(**inputs, do_sample=False, max_new_tokens=64)
print(processor.decode(out[0, inputs["input_ids"].shape[-1]:], skip_special_tokens=True))Подробнее
Точность модели: 93.33% для птиц (mockingbird против brown noddy) и 91.69% для морских игуан.Обучение: ранг LoRA равен 8 (alpha 16), обновлены query- и value-матрицы во всех 24 языковых блоках (всего 540,672 параметра).
Лицензия: CC BY-NC 4.0 (базовые компоненты под Apache-2.0, данные iNaturalist имеют ограничения для коммерческого использования).










Комментарии