VidVec-7B

VidVec-7B от OriginAI (NeurIPS 2026) — оптимизированный видео-текстовый эмбеддер на базе DAMO-NLP-SG/VideoLLaMA3-7B, 8,04 млрд параметров. Модель превращает предобученный генеративный video MLLM в retrieval-модель: по карточке, лёгкая text-only оптимизация даёт state-of-the-art на video–text retrieval. Это чекпойнт VidVec-O с merged LoRA; эмбеддинг берётся с последнего слоя.

🔥 Ключевые особенности

• 🔥 State-of-the-art video-text retrieval: обходит MLLM-эмбеддеры и специализированные Video Foundation Models.
• 🧨 True zero-shot: ни VidVec, ни бэкбон не видели тренировочные видео бенчмарков — протокол как у InternVideo2 и VideoPrism.
• 💡 In-context text-only оптимизация: выравнивает подробные описания видео с короткими summary и обходит paired video-text fine-tuning.
• ⚙ Лёгкая адаптация: ~60K текстовых пар и менее 30 минут LoRA-обучения на 4 GPU; в релизе адаптер уже merged.
• 📌 Эмбеддинги 3584-d, L2-нормализованные; similarity считается как dot product.
• 🖥 Нужна одна CUDA-GPU с bf16 и ≥32 ГБ памяти; transformers==4.46.3 и ffmpeg в PATH.

💻 Пример

from transformers import AutoModel

model = AutoModel.from_pretrained('iyttor/VidVec-7B', trust_remote_code=True, device_map='cuda:0')
score = model.similarity('video.mp4', 'a man is riding a horse on the beach')
for hit in model.rank('video.mp4', ['a man is riding a horse', 'a cat sleeps on a sofa']):
    print(hit['rank'], hit['similarity'], hit['text'])

Подробнее

📊 Двухстадийный VidVec: Recall@1 на MSR-VTT T2V — 56,4; MSVD V2T — 85,7; DiDeMo T2V — 62,3.
🖥 Одна CUDA-GPU с bf16 и ≥32 ГБ памяти; transformers==4.46.3, ffmpeg в PATH; flash-attn опционален.
⚙ Обучение: ~60K текстовых пар, <30 минут LoRA на 4 GPU; в этом чекпойнте LoRA merged.
⚠ Язык в метаданных — en; смена промптов меняет пространство эмбеддингов, видео и текст надо кодировать с одинаковыми настройками.