SITEWISE classifier

Это fine-tune модели google/siglip2-base-patch16-224 примерно на 90M параметров от команды team-QH045. Модель размечает строительные фотографии по четырём классам: door, wall, ceiling и other, и служит дешёвой первой ступенью аудитора SITEWISE для платёжных заявок в строительстве Катара. Уверенные предсказания остаются на CPU, а сложные случаи уходят к Gemma и Qwen2.5-VL через Inference Providers, после чего результат проверяет инженер.

🧩 Ключевые особенности

• 🧩 Fine-tune SigLIP2 для четырёх классов строительных фото.
• ⚡ Первая ступень каскада: уверенные предсказания считаются на CPU, низкая уверенность и несовпадения escalate-ятся к VLM.
• 🩻 Выдаёт наблюдения, а не сертификацию: не измеряет установленный объём и качество работ.
• 🪨 Обучение на 112 изображениях, тест на 32; фото взяты с Wikimedia Commons, split сделан по фотографу.
• 💵 Прогоны обучения на HF Jobs заняли около 3,1 минуты и стоили примерно $0.05 на a10g-small.
• 🛑 Ограничения: маленький датасет, мало разнообразия площадок и освещения, нет валидации на реальных проектах Катара.

⚙ Пример

from transformers import pipeline

classifier = pipeline('image-classification', model='mfjbrr/team-QH045-sitewise')
classifier('site_photo.jpg')

Подробнее

На тесте n=32: accuracy 100%, macro F1 1.000, средняя задержка 0.014 с; zero-shot SigLIP2 — 96.88%.
Тест использовался для выбора лучшей эпохи, поэтому оценка не полностью независима; на dev-наборе из 37 фото — 97.30% против 91.89% у zero-shot.
Датасет маленький (144 изображения), большинство фото не из Катара; модель не определяет полноту элементов и не подходит для платёжных решений без инженера.