CS-CLIP
улучшенный CLIP для точного сопоставления текста и картинок
2 мин чтенияобновлено
Модель CS-CLIP создана на базе OpenAI CLIP ViT-B/32 и дообучена на датасете с так называемыми hard negatives (сложными негативными примерами на основе графов сцен). Обычные модели CLIP часто путают порядок слов или отношения объектов, например, путая «человек на лошади» и «лошадь на человеке». Данный файнтюн решает эту проблему, обеспечивая более надежное композиционное рассуждение при поиске изображений по тексту и zero-shot классификации. Она будет полезна разработчикам мультимодальных систем и исследователям компьютерного зрения.
Ключевые особенности
- Композиционное рассуждение: лучше справляется со сложными текстовыми описаниями и взаимосвязями объектов.
- Совместимость архитектуры: сохраняет оригинальную структуру OpenAI CLIP ViT-B/32, хранение в fp32.
- Обучение на COCO: тренировка проведена на почти 2 миллионах пар подписей и сложных негативов.
- Двойной формат: доступны веса как для библиотеки OpenCLIP, так и для Transformers.
Что можно сделать
- Улучшенный поиск: внедрить в поисковые системы по изображениям для точного сопоставления запросов со сложным контекстом.
- Классификация: использовать для zero-shot классификации картинок без дополнительного обучения под конкретные классы.
- Мультимодальные пайплайны: применить в связке с другими моделями компьютерного зрения, где критически важно понимать структуру текста и кадра.
Пример
Запуск модели с помощью библиотеки OpenCLIP:
import torch, open_clip
from PIL import Image
model, _, preprocess = open_clip.create_model_and_transforms("hf-hub:juns/CS-CLIP")
tokenizer = open_clip.get_tokenizer("hf-hub:juns/CS-CLIP")
model.eval()
image = preprocess(Image.open("example.jpg")).unsqueeze(0)
text = tokenizer(["a man riding a brown horse", "a brown man riding a horse"])
with torch.no_grad():
sims = model.encode_image(image, normalize=True) @ model.encode_text(text, normalize=True).T
Подробнее
Бенчмарки: SugarCrepe Avg 88.59, VG-Rel 85.96, GQA two-choice 71.27Архитектура: OpenAI CLIP ViT-B/32 (QuickGELU), веса в fp32
Обучение: AdamW, lr 2e-6, batch size 128, 2 эпохи на COCO train2014
Ограничения: наследует общие предвзятости предобученного CLIP и дообучена только на данных COCO








Комментарии