LeVJEPA 1.5 Large

LeVJEPA 1.5 Large от galilai-group — self-supervised видеоэнкодер на 303M параметров (ViT-L/16). Его обучали на ~5 300 часах видео и 151 EF, а средний балл на 22 image/video датасетах составил 78.76%.

⚡ Ключевые особенности

• ⚡ 303M параметров, ViT-L/16: 24 слоя, ширина 1024, 16 голов; на вход 16 кадров 224×224.
• 🧩 Один энкодер с invariance loss по глобальному и локальным view клипа + SIGReg; без EMA target encoder, stop-gradient, predictor и pixel decoder.
• 🎯 78.76% на 22 датасетах при ~5 300 часах видео и 151 EF; V-JEPA 1 — 79.77% при 25.7× данных и 5.6× compute, V-JEPA 2 — 81.63% при 321× данных и ~28.5× compute.
• 🧊 Замороженный энкодер для attentive/linear probing, retrieval или backbone; classification head нет.
• 🔎 Block-causal attention: bidirectional внутри кадра, causal между кадрами; [cls] читает весь клип.

⚙ Пример

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained('galilai-group/LeVJEPA-1.5-Large', trust_remote_code=True).eval()
video = torch.randn(1, 3, 16, 224, 224)  # (B, C, T, H, W)
with torch.no_grad():
    out = model(pixel_values=video)

Подробнее

Средний балл: 78.76 на 22 датасетах; image mean 83.34, video mean 68.94.
Обучение: ~5 300 часов видео (1.8M клипов), 151 EF; 95% patch-токенов случайно отбрасываются; веса — EMA-копия.
Ограничения: нет classification head; лицензия CC BY-NC 4.0 (некоммерческая); full attention даёт худшие признаки.
Требования к VRAM/железу в карточке не указаны.