geoguessr-clip-vitb16

Это vision-encoder openai/clip-vit-base-patch16, дообученный на подмножестве OpenStreetView-5M предсказывать одну из 33 стран по уличной фотографии. Классификационная голова инициализирована текстовыми эмбеддингами промпта A street view photo taken in {}., обучение — linear probe + full fine-tuning (LP-FT). Размер — около 0,09 млрд параметров.

🔥 Ключевые особенности

• 📍 33 страны: от AR и AT до US и ZA; модель всегда выбирает одну из них.
• 🔥 На тесте top-1 0.708 у center crop и 0.732 с TTA; top-5 — 0.925 и 0.935.
• 🖼 TTA усредняет логиты левого, центрального и правого кропов.
• ❗ Для фото вне 33 стран всё равно вернётся один из известных классов.
• ✋ Изображение нельзя переворачивать: сторона движения — важный признак для модели.
• 💻 Запуск через transformers и safetensors; препроцессинг описан в inference_config.json.

💻 Пример

import torch
from transformers import CLIPVisionModelWithProjection
vision = CLIPVisionModelWithProjection.from_pretrained(path).eval()
with torch.no_grad():
    emb = torch.nn.functional.normalize(vision(pixel_values=pixel_values).image_embeds, dim=-1)
    w = torch.nn.functional.normalize(head, dim=-1)
    logits = (cfg["logit_scale"] * emb @ w.T).mean(0)

Подробнее

Test split: top-1 0.732 / top-5 0.935 с TTA (n=6600); center crop — 0.708 / 0.925.
Веса — около 0,09 млрд параметров, лицензия CC BY-SA 4.0.
Ограничения: только 33 страны; обучение на OSV-5M, другие типы фото вне распределения; заметен overfitting.
Валидация из того же пула, что и train, поэтому сравнивать модели лучше на test.