TinyCLIP-39M-PixelArt
поиск пиксель-арта по короткому описанию
1 min readupdated
Это Sentence Transformers модель, дообученная от TinyCLIP на датасете Angais/pixel-art-atlas-1.4m. Она сопоставляет короткие английские описания и изображения пиксель-арта в общем векторном пространстве.
Ключевые особенности
- Обучены оба энкодера — текстовый и графический.
- Поиск изображений по фразам вроде
sturdy brass hook. - Matryoshka-эмбеддинги: 512, 256 и 128 измерений.
- Есть отдельная текстовая башня
TinyCLIP-39M-PixelArt-Text— не нужно держать в памяти графический энкодер для запросов. - Лицензия Apache 2.0, максимум 77 текстовых токенов.
Пример
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('tomaarsen/TinyCLIP-39M-PixelArt')
q = model.encode_query(['sturdy brass hook'])
imgs = model.encode_document(['pixel_art.png'])
print(model.similarity(q, imgs))
Подробнее
Обучение: 1 эпоха, lr 2e-5, bf16, датасет из 2 753 652 пар; изображения в обучении — 16×16 px.Запросы — на английском. Для прозрачного пиксель-арта накладывайте картинку на RGB-фон (128, 128, 128) перед кодированием.
Требования к VRAM в карточке не указаны, но модель очень компактная.








Comments