Rail World Model Camera 500step
генерация видео поездки по железной дороге с управлением камерой
2 мин чтенияобновлено
Исследовательская модель от tanskin02 для задачи image-to-video (генерация видео по изображению): по стартовому кадру, текстовому описанию сцены и покадровой траектории движения камеры она синтезирует ролик железнодорожного пути. В основе лежит nvidia/Cosmos3-Nano, у которой дообучили attention LoRA (небольшие адаптеры для слоёв внимания) и часть модуля ввода параметров камеры. На выходе получается видео из 189 кадров с частотой 24 FPS, строго следующее заданной траектории. Разработка пригодится исследователям и инженерам, работающим с симуляцией движения рельсового транспорта и генеративными world-моделями.
Ключевые особенности
- На вход принимаются RGB-изображение 832×480, текстовый промпт и матрица действий камеры размером 188×9, а на выходе генерируется ролик на 189 кадров (24 FPS).
- Обучение проходило в два этапа: сначала 300 шагов адаптации визуального стиля на реальных записях, затем дообучение под управление камерой до итоговой отметки 500 step.
- В репозитории собраны дельта-веса с рецептом восстановления, 6 оригинальных DCP-шардов базовой модели, энкодер/декодер Wan VAE и локальный токенизатор.
- Модель отвечает только за визуализацию сцены вдоль заданного пути — распознавание опасностей, планирование маршрута и торможение в неё не заложены.
Что можно сделать
- Генерировать синтетические видеопоездки по железной дороге из одного стартового кадра с точным контролем положения камеры в каждом кадре.
- Использовать модель как визуальный симулятор среды для тестирования и отладки систем компьютерного зрения на рельсовом транспорте.
- Развернуть инференс локально, восстановив полные веса через приложенный
model_bundle/и архив окруженияruntime_support.zip.
Пример
hf download tanskin02/rail-world-model-camera-500step \
--revision 379bea5f3a00a51a1aaea402bc774a4e27669f37 \
--local-dir ./rail-world-model-artifacts
Подробнее
Данные обучения: 107 обучающих и 13 валидационных реальных RGB-примеров для адаптации стиля, плюс 240 обучающих и 54 валидационных виртуальных/рендер-последовательностей с позами камеры.Целостность: после объединения дельта-весов с базовой моделью на CPU проверены хэши всех 1097 тензоров.
Требования: совместимый GPU NVIDIA под Linux, нативный Cosmos Framework и PyTorch 2.10.x (эталонное окружение: Python 3.13.12, PyTorch 2.10.0+cu130, архитектура aarch64).










Комментарии