MobileCLIP2-S4 (ONNX)
экспорт модели Apple для быстрого распознавания изображений
2 мин чтенияобновлено
Модель представляет собой конвертацию оригинальной мультимодальной разработки Apple MobileCLIP2-S4 в формат ONNX. Она решает задачу zero-shot-image-classification (классификация изображений без предварительного обучения на классах) и раздельно обрабатывает текстовые и визуальные запросы. На выходе получается сопоставление вероятностей для заданных текстовых меток и картинки с использованием ONNX Runtime. Основана на архитектуре FastViT с репараметризованными ветками для инференса и выпущена автором AX1Y2JP. По сравнению с исходными версиями здесь оптимизированы графы, добавлены веса fp16 и int8 для ускорения работы, а также скорректирован токенизатор для сохранения точности распознавания.
Ключевые особенности
- Экспорт в формат ONNX (opset 23) для работы через ONNX Runtime 1.22+
- Раздельные графы для визуального и текстового энкодеров
- Репараметризация FastViT-энкодера с слиянием веток для быстрого инференса
- Наличие оптимизированных вариантов с fp16 весами и 8-bit квантованием (MatMulNBits)
- Сохраненный параметр logit_scale в метаданных модели
Что можно сделать
- Интегрировать модель в приложения на Python с использованием onnxruntime для классификации картинок
- Проводить классификацию изображений по кастомным текстовым меткам без дообучения
- Запускать инференс на GPU (CUDAExecutionProvider) или CPU для ускорения обработки
Пример
import numpy as np
import onnxruntime as ort
from PIL import Image
from tokenizers import Tokenizer
providers = ["CUDAExecutionProvider", "CPUExecutionProvider"]
vision = ort.InferenceSession("onnx/vision_model_fp16.onnx", providers=providers)
text = ort.InferenceSession("onnx/text_model_fp16.onnx", providers=providers)
scale = float(vision.get_modelmeta().custom_metadata_map["logit_scale"])
img = Image.open("cat.jpg").convert("RGB")
w, h = img.size
r = 256 / min(w, h)
img = img.resize((round(w * r), round(h * r)), Image.BILINEAR)
w, h = img.size
l, t = (w - 256) // 2, (h - 256) // 2
img = img.crop((l, t, l + 256, t + 256))
pixel_values = (np.asarray(img, np.float32) / 255).transpose(2, 0, 1)
pixel_values = (pixel_values - np.array([0.48145466, 0.4578275, 0.40821073], np.float32)[:, None, None]) / np.array([0.26862954, 0.26130258, 0.27577711], np.float32)[:, None, None]
pixel_values = pixel_values[None]
tok = Tokenizer.from_file("tokenizer.json")
labels = ["a photo of a cat", "a photo of a dog", "a photo of a car"]
input_ids = np.array([e.ids for e in tok.encode_batch(labels)], np.int64)
img_emb = vision.run(None, {"pixel_values": pixel_values})[0]
txt_emb = text.run(None, {"input_ids": input_ids})[0]
img_emb /= np.linalg.norm(img_emb, axis=-1, keepdims=True)
txt_emb /= np.linalg.norm(txt_emb, axis=-1, keepdims=True)
logits = scale * img_emb @ txt_emb.T
probs = np.exp(logits - logits.max(-1, keepdims=True))
probs /= probs.sum(-1, keepdims=True)
print(dict(zip(labels, probs[0].round(3))))
Подробнее
Базовая модель: apple/MobileCLIP2-S4Требования: ONNX Runtime 1.22+
Особенности токенизатора: tokenizer.json дополнен нулями для соответствия open_clip вместо исходного токенизатора HF










Комментарии