CLIP ViT-L/14 task experts
восемь экспертов для задач зрения
2 мин чтенияобновлено
Это не одна модель, а восемь полных файнтюнов image-энкодера openai/clip-vit-large-patch14 — по одному на задачу: SUN397, Stanford Cars, RESISC45, EuroSAT, GTSRB, DTD, Food101 и FER2013. Голова классификатора инициализирована zero-shot текстовыми эмбеддингами и заморожена, а обучается только image tower. Каждый запуск сделан с learning rate 3e-5, и после каждой эпохи сохранён чекпоинт. Набор пригодится для model merging и task arithmetic, а также для исследований выбора чекпоинта и длительности обучения. Практический выход — готовый экспертный классификатор для одной из восьми задач зрения.
Ключевые особенности
- Восемь отдельных запусков по одному рецепту: lr 3e-5, batch size 32, fp16, 10 эпох.
- Замороженная голова из zero-shot текстовых эмбеддингов; обучаются только
vision_modelиvisual_projection. - Чекпоинт после каждой эпохи — можно сравнивать выбор чекпоинта и длительность обучения.
- Верхнеуровневый
model.safetensors— лучшая эпоха по accuracy на eval split; для 7 из 8 задач это test split, поэтому оценка оптимистична. - В карточке есть код загрузки и
predict; порядок классов — по признакуlabelдатасета.
Что можно сделать
- Собрать task vectors из разницы
vision_model.*/visual_projection.*с базовым CLIP для merging и арифметики задач. - Провести исследование выбора чекпоинта: сравнить accuracy по эпохам и взять фиксированную эпоху для честного сравнения.
- Использовать нужного эксперта как классификатор для одного из наборов — например, GTSRB, Food101 или FER2013.
- Взять готовый рецепт и код как baseline для собственного файнтюна image-энкодера CLIP.
Пример
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import CLIPModel, CLIPImageProcessor
repo = 'theblackcat102/clip-vit-large-patch14-task-experts-ep10'
run = 'dtd_openai_clip-vit-large-patch14_ep10_bs32_lr3e-5'
sd = load_file(hf_hub_download(repo, f'{run}/model.safetensors'))
Подробнее
Accuracy: DTD 82.82%, EuroSAT 99.26%, FER2013 74.70%, Food101 92.80%, GTSRB 99.41%, RESISC45 96.30%, Stanford Cars 92.35%, SUN397 78.77%.Top-level
model.safetensors — лучшая эпоха по accuracy на eval split; для 7 из 8 задач это test split, поэтому цифры оптимистичны. Для сравнения без выбора берите фиксированную эпоху, например последнюю.Обучение: lr 3e-5, batch size 32, fp16, 10 эпох, без data augmentation; обучается только image tower, голова заморожена. Требования к VRAM не указаны.








Комментарии