Video LAM small encoder

Финальный чекпоинт Video LAM от chyun после 16 000 шагов обучения. Модель построена на базе nvidia/Cosmos-Predict2.5-2B и предназначена для робототехники: видео и действия кодируются через flow matching.

🔥 Ключевые особенности

• 💪 Полностью обучаемый depth-4 энкодер, инициализированный с нуля.
• 🤫 Декодер Cosmos depth-28 заморожен, обучается только rank-16 LoRA.
• 👀 Видео и действия используют flow matching с весом 1.0.
• 😐 Обучение на DROID + EgoDex + MolmoAct с равными весами источников.
• 💳 Разрешение 480×640, клипы переменной длины 5–29 кадров.
• 🐾 Чекпоинт включает энкодер, LoRA, queries, heads, optimizer, scheduler, RNG и позицию итерации данных.

🍒 Пример

from huggingface_hub import snapshot_download

folder = snapshot_download('chyun/video-lam-old78k-smallenc-d4-scratch-16k', token=True)

Подробнее

Бенчмарков и метрик качества в карточке нет.
Нужны код из jiiiisoo/video_lam на коммите 2157e2f0837fcdefb82fc68f9c4d913e3f92942d и базовый Cosmos-Predict2.5-2B ревизии 15a82a2ec231bc318692aa0456a36537c806e7d4.
В training_args.json сохранены исходные машинные пути — их нужно заменить под новый хост.
Замороженные decoder base, VAE и text encoder — внешние зависимости; также нужен файл action_stats_old78k_3src.json.