BioCLIP 2.5 Australian Plants

Небольшая надстройка над замороженным энкодером BioCLIP 2.5 ViT-H/14 от Leonhard Gruenschloss. По фото и необязательной геолокации выбирает один из 22 122 австралийских растительных лейблов; 18 618 из них имеют обучающие фото.

🔎 Ключевые особенности

• 🧩 Две multi-prototype classification heads поверх замороженного энкодера; до 8 прототипов на класс.
• 🌏 Адаптивный location prior по встречаемости: радиус ядра от 2 до 20 км в зависимости от плотности записей.
• 🪴 Answer ladder: вид, род или «not sure» — с калиброванными вероятностями.
• ⚙️ В репозитории только heads fp16/int8, prior и labels; сам энкодер скачивается в predict.py.
• 📐 Заявлена top-1 agreement int8 с fp32 99,85%.

💡 Пример

from predict import PlantID, Encoder
m, enc = PlantID(), Encoder()
logp, logp_image = m.logp(enc("photo.jpg"), lat=-42.88, lon=147.33)
print(m.ladder(logp[0], logp_image[0]))

Подробнее

Top-1 per species: AU-test 86,3%, Tasmania 88,6%, top-5 96,4%.
Без геолокации точность заметно ниже: AU-test 77,2% per species.
Только Австралия; ~16% лейблов без обучающих фото; эвкалипты часто определяются лишь до рода. Не для решений о съедобности или биобезопасности.