EVA-02 Neural Video Retrieval
поиск кадров по позе, ракурсу и одежде
2 мин чтенияобновлено
Этот чекпоинт решает точный поиск видеокадров по текстовому запросу: важны не только объекты, но и поза тела, ракурс камеры и детали одежды. Он основан на EVA-02-CLIP-L-14-336: vision-энкодер заморожен, а текстовый энкодер и logit_scale дообучены по схеме LiT (обучение только текстовой части). Обучение шло на curated web videos и иллюстрациях Danbooru2023, поэтому модель поддерживает и cross-domain поиск «2D-иллюстрация → реальный кадр». Пригодится для видеоархивов, поисковиков по кадрам и исследовательских retrieval-пайплайнов.
Ключевые особенности
- Vision-энкодер EVA-02 заморожен (304.43M параметров), дообучены текстовый энкодер и
logit_scale(123.65M). - Fine-grained retrieval: позы тела, ракурсы камеры, детали гардероба.
- Поддерживает 2D-to-real cross-domain lookup: поиск реальных кадров по иллюстрациям.
- MIL-контрастивное обучение InfoNCE на contact sheet 3×3 keyframes, с балансировкой поз и динамическими промптами.
- На val (n=1,200) Recall@1 вырос с 12.4% до 20.67%, Recall@5 — с 28.1% до 37.83%.
Что можно сделать
- Собрать текстовый поиск по видеоархиву: запросы про позу, ракурс и одежду, а не только про объекты.
- Искать реальные кадры по 2D-иллюстрациям или референсам — cross-domain сценарий из карточки.
- Подключить чекпоинт через
open_clipк своему keyframe-retrieval пайплайну. - Запустить интерактивный Web Viewer из репозитория, положив
best.ptвscrape/siglip_runs/eva02_curated_v2/best.pt.
Пример
import torch, open_clip
from huggingface_hub import hf_hub_download
ckpt = torch.load(hf_hub_download('wheatley1901/eva02-neural-video-retrieval', filename='eva02_curated_v2.pt'), map_location='cpu', weights_only=True)
model, _, preprocess = open_clip.create_model_and_transforms('hf-hub:timm/eva02_large_patch14_clip_336.merged2b_s6b_b61k')
model.load_state_dict(ckpt.get('state_dict', ckpt), strict=True)
model = model.half().cuda().eval()
Подробнее
Метрики на val split (n=1,200), epoch 1: Recall@1 — 20.67% против 12.4% у stock EVA-02; Recall@5 — 37.83% против 28.1%.Обучение: 147,412 строк curated web videos и 4,652 строк Danbooru2023 illustrations.
Заморожены 304.43M vision-весов; обучены 123.65M параметров текстового энкодера и
logit_scale.Требования к VRAM в карточке не указаны; для Web Viewer нужен файл
best.pt в scrape/siglip_runs/eva02_curated_v2/.









Комментарии