Video LAM
каузальное предсказание действий и видео
2 мин чтенияобновлено
Video LAM (Latent Action Model) — это исследовательский чекпоинт на базе 28-блочной модели nvidia/Cosmos-Predict2.5-2B, созданный для задач робототехники. Модель одновременно предсказывает будущие кадры видео и последовательности действий робота на основе flow matching (метода генерации через потоковое сопоставление). Ключевая особенность этой версии — каузальная маска внимания между группами запросов (causal query-to-query attention): запросы текущего шага t видят только прошлые и одновременные слоты, не заглядывая в будущее. Решение пригодится инженерам и исследователям Embodied AI для обучения политик управления роботами по видеоданным.
Ключевые особенности
- База — замороженный бэкбон
nvidia/Cosmos-Predict2.5-2Bс раздельными LoRA-адаптерами (небольшими обучаемыми надстройками) ранга 16 для стадий Stage A и Stage B. - Каузальное внимание (query-to-query): группа запросов шага t обращается только к шагам <= t, сохраняя строгую временную последовательность.
- Обучение на равновесной смеси датасетов DROID, EgoDex и MolmoAct на клипах переменной длины от 5 до 29 кадров в разрешении 480×640.
- Текстовое обусловливание (Stage A) опирается на проекции эмбеддингов от модели
Cosmos-Reason1-7B.
Что можно сделать
- Использовать как основу для обучения и дообучения моделей управления роботами (latent action prediction) на собственных робототехнических датасетах.
- Воспроизвести эксперименты с каузальным вниманием и раздельным flow-декодером видео из репозитория
jiiiisoo/video_lam. - Продолжить обучение с шага 16 000 — в архиве сохранены состояния оптимизатора, планировщика и генератора случайных чисел.
Пример
from huggingface_hub import snapshot_download
folder = snapshot_download('chyun/video-lam-old78k-q2q-causal-16k')Подробнее
Обучение: 16 000 шагов, глобальный батч 16 (микробатч 1 на GPU, градиентное накопление 2, 8 GPU, seed 0).Формат: нативный PyTorch-чекпоинт (
step_016000.pt) с патчем training_implementation.patch для репозитория jiiiisoo/video_lam.Зависимости: требуется локальный чекпоинт базы
nvidia/Cosmos-Predict2.5-2B и кэш текстовых эмбеддингов Cosmos-Reason1-7B (не входят в архив).Ограничения: перед запуском нужно вручную обновить локальные пути в
training_args.json; модель проверена на целостность тензоров, но не проходила отдельный инференс-тест после упаковки.









Комментарии