100 task experts clip-vit-l14
экспертные модели для компьютерного зрения
2 мин чтенияобновлено
Репозиторий содержит коллекцию из 100 специализированных экспертных моделей, дообученных на базе openai/clip-vit-large-patch14 (визуальный энкодер). Каждая подпапка репозитория отвечает за отдельную задачу визуального анализа и классификации — от стандартных датасетов вроде MNIST и CIFAR до медицинских снимков и спутниковых данных. Модели созданы на основе известного визуально-текстового энкодера CLIP и существенно превосходят базовую версию в узких предметных областях. Набор пригодится исследователям и разработчикам, которым нужны готовые натренированные веса для бенчмарков и переноса знаний.
Ключевые особенности
- 100 экспертных чекпоинтов для различных задач компьютерного зрения
- Значительный прирост точности относительно zero-shot базовой модели CLIP
- Четкая структура с весами в формате safetensors, метриками и классами для каждой задачи
- Полная совместимость со стандартной библиотекой Hugging Face Transformers
Что можно сделать
- Запустить классификацию изображений для специализированных датасетов (медицина, спутниковые снимки, автомобили)
- Исследовать возможности слияния моделей и переноса знаний между различными визуальными доменами
- Использовать отдельные подпапки с весами в качестве готовых компонентов для пайплайнов компьютерного зрения
- Интегрировать модели в исследовательские проекты через стандартный класс
CLIPVisionModel
Пример
Пример загрузки модели для датасета MNIST из конкретной подпапки репозитория:
from transformers import CLIPVisionModel
m = CLIPVisionModel.from_pretrained("jhnb45C/clip-vit-l14-100tasks", subfolder="mnist/vision_model")
Подробнее
Средние показатели по 100 задачам: zero-shot тест — 48.11%, fine-tuned валидация — 90.67%, fine-tuned тест — 89.79%Параметры обучения: оптимизатор Adam, lr 1e-05, cosine-шедулер, 4000 шагов, батч 128, precision fp32 с TF32
Веса выпущены исключительно для исследовательских целей, исходные датасеты сохраняют свои лицензии










Комментарии