orchid-clip-v9cw05

orchid-clip-v9cw05 от musharna — image encoder для фотографий орхидей, дообученный из BioCLIP 2.5 (ViT-H/14). Модель выдаёт 1024-мерные L2-нормализованные признаки изображения. Это второй из двух энкодеров в Space orchid-genus-id, где его оценки усредняются с orchid-clip-v8.

🧭 Ключевые особенности

• 📸 Кодирует фото в 1024-мерный L2-нормализованный вектор для сравнения по косинусу.
• 🧭 Основа — BioCLIP 2.5 ViT-H/14; дообучение на 1,12 млн изображений 5 124 видов орхидей.
• ⚙ Веса — среднее fine-tuned и base модели 50/50 по WiSE-FT, отсюда «w05».
• 🎯 В Space усредняется с orchid-clip-v8: species top-1 0.742, genus top-1 0.937.
• 📌 С abstain-правилом при 90% precision называет вид в 66% случаев.
• 🖥 Чекпойнт весит 3,9 ГБ, CPU-инференс медленный.

📸 Пример

pip install open_clip_torch torch pillow
hf download musharna/orchid-clip-v9cw05 --local-dir orchid-clip-v9cw05
python orchid-clip-v9cw05/embed_example.py orchid-clip-v9cw05 your_orchid.jpg

Важно: загружайте с pretrained=None и затем state dict; имя hf-hub: подтянет base BioCLIP 2.5, а не эти веса.

Подробнее

На тесте 8 837 фото 3 369 видов: species top-1 0.723, genus top-1 0.935, вид при 90% precision — 62%; в паре с v8 — 0.742 / 0.937 / 66%.
Оценён только image tower; text tower для zero-shot не тестировали.
Ошибки чаще внутри рода; гибриды не целевые.
Код и веса — MIT, но ~70% обучающих фото — CC BY-NC: учитывайте для коммерческого использования.