TinyCLIP-39M-PixelArt

Это Sentence Transformers модель, дообученная от TinyCLIP на датасете Angais/pixel-art-atlas-1.4m. Она сопоставляет короткие английские описания и изображения пиксель-арта в общем векторном пространстве.

✨ Ключевые особенности

• 🎨 Обучены оба энкодера — текстовый и графический.
• 👀 Поиск изображений по фразам вроде sturdy brass hook.
• 🌗 Matryoshka-эмбеддинги: 512, 256 и 128 измерений.
• 💻 Есть отдельная текстовая башня TinyCLIP-39M-PixelArt-Text — не нужно держать в памяти графический энкодер для запросов.
• ✅ Лицензия Apache 2.0, максимум 77 текстовых токенов.

💻 Пример

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('tomaarsen/TinyCLIP-39M-PixelArt')
q = model.encode_query(['sturdy brass hook'])
imgs = model.encode_document(['pixel_art.png'])
print(model.similarity(q, imgs))

Подробнее

Обучение: 1 эпоха, lr 2e-5, bf16, датасет из 2 753 652 пар; изображения в обучении — 16×16 px.
Запросы — на английском. Для прозрачного пиксель-арта накладывайте картинку на RGB-фон (128, 128, 128) перед кодированием.
Требования к VRAM в карточке не указаны, но модель очень компактная.