OptiPros-VLM-Finetuned

Это небольшая image-to-text модель от FYP team: энкодер ViT-tiny/16 из timm и 6-слойный Transformer-декодер, который пишет английские подписи токенизатором distilbert-base-uncased. Декодер обучен с нуля, всего в модели 20 836 218 параметров.

🐾 Ключевые особенности

• 👀 Энкодер ViT-tiny/16: вход 224×224, 197 токенов × 192; дообучены последние 4 блока.
• 🐾 Декодер — 6 слоёв nn.TransformerDecoderLayer, d_model 192, 8 голов, FFN 768.
• 💪 20 836 218 параметров — очень лёгкая модель для генерации подписей к изображениям.
• 🍒 Обучение: 35 эпох на COCO train2014, затем 20 эпох на 3 000 изображениях Flickr8k.
• 😐 Только английский; подписи короткие и обобщённые, возможны ошибки в счёте объектов.

👉 Пример

from huggingface_hub import hf_hub_download
import importlib.util, sys
from PIL import Image
path = hf_hub_download('FarhanAK128/OptiPros-VLM-Finetuned', 'modeling_captioner.py')
spec = importlib.util.spec_from_file_location('modeling_captioner', path)
mc = importlib.util.module_from_spec(spec); sys.modules['modeling_captioner'] = mc; spec.loader.exec_module(mc)
model, tokenizer = mc.load_captioner('FarhanAK128/OptiPros-VLM-Finetuned')
print(mc.caption_images(model, tokenizer, [Image.open('my_photo.jpg')]))

Подробнее

На held-out 500 изображений Flickr8k после дообучения: BLEU-4 0.1681, ROUGE-L 0.4153, METEOR 0.3712.
COCO val2014: FP32 BLEU-4 0.1834, INT8 ONNX — 0.1624.
Ограничения: только английский, вход 224×224, короткие подписи; слабее на схемах, скриншотах и медицинских изображениях.