PlumaDINO-vits16plus-r2
классификация более 10 тысяч видов птиц
2 мин чтенияобновлено
Модель PlumaDINO создана для распознавания 10 911 видов птиц в соответствии с таксономией AviList v2025b. На вход принимается кроп изображения, содержащий птицу целиком, после чего модель выдает ранжированный список вероятных биологических видов с научными и английскими названиями. Архитектура основана на подходах DINOv3, а для работы поддерживаются как PyTorch, так и Core ML для интеграции в нативные приложения под macOS. Решение пригодится орнитологам, разработчикам приложений о дикой природе и любителям фотографии.
Ключевые особенности
- Распознавание 10 911 видов птиц по таксономии AviList v2025b.
- Нативная поддержка Core ML для запуска на устройствах Apple с macOS.
- Использование библиотеки Transformers и архитектуры PyTorch для работы на CPU.
- Высокая точность на специализированных наборах данных, включая NABirds.
Что можно сделать
- Создать скрипт или локальное приложение для автоматического определения птиц по фотографии.
- Интегрировать модель в нативное iOS или macOS приложение для полевых наблюдений.
- Провести пакетную обработку коллекции снимков дикой природы с помощью Python.
Пример
Пример инференса с помощью PyTorch для батча изображений:
import torch
from transformers import AutoImageProcessor, AutoModelForImageClassification
processor = AutoImageProcessor.from_pretrained(".", trust_remote_code=True, local_files_only=True, use_fast=False)
model = AutoModelForImageClassification.from_pretrained(
".", trust_remote_code=True, local_files_only=True, dtype=torch.float32
).eval()
images = ["bird-a.jpg", "bird-b.jpg"]
inputs = processor(images, return_tensors="pt")
with torch.inference_mode():
probabilities = model(**inputs).logits.softmax(dim=-1)
Подробнее
Бенчмарки: на наборе NABirds Top-1 accuracy составляет 92.25%, Top-5 — 98.57%На датасете RareSpecies Top-1 достигает 79.08%
Ограничения: веса и производные доступны только для некоммерческого использования по условиям лицензии Meta DINOv3










Комментарии