Home-decor SigLIP 2

Это файнтюн google/siglip2-base-patch16-224 от AlphJain для поиска мебели и предметов декора: реальное фото комнаты → товар, текст → товар и текст → комната. Около 0.38 млрд параметров, библиотека transformers, задача zero-shot-image-classification.

🔍 Ключевые особенности

• 🔍 Реальное фото комнаты → товар: R@1 вырос с 0.076 до 0.164, R@10 — с 0.364 до 0.508.
• 🛍 Поиск по тексту: запрос → комната R@10 0.391 против 0.281 у базы; запрос → товар на ABO R@1 0.680 против 0.620.
• 🏠 Фото мебели → другие снимки той же модели: R@1 0.827 против 0.778.
• ✔ Версия v3-clean-nostyle; оценка на данных, не использованных для обучения или выбора чекпоинта.
• ⚙ Готовый код для transformers: можно считать эмбеддинги изображений и текста и ранжировать по косинусной близости.

💻 Пример

from PIL import Image
from transformers import AutoModel, AutoProcessor
model_id = "AlphJain/home-decor-siglip2"
model = AutoModel.from_pretrained(model_id).eval()
processor = AutoProcessor.from_pretrained(model_id)
image = Image.open("room.jpg").convert("RGB")
texts = ["green velvet sofa", "scandinavian bedroom", "brass floor lamp"]
# далее сравните эмбеддинги изображения и текста

Подробнее

📊 Главные метрики: фото комнаты → товар R@1 0.164 / R@10 0.508; запрос → комната R@10 0.391; запрос → товар ABO R@1 0.680.
🖥 База — google/siglip2-base-patch16-224, около 0.38 млрд параметров. Требования к VRAM в карточке не указаны.
⚠️ Тексты в примере — в нижнем регистре, как при обучении. Оценка на отложенных данных; для ABO обе модели близки к потолку.