TriCosmos-2.5-predict
мультисенсорный прогноз дороги в плохую погоду
3 мин чтенияобновлено
Модель мира (world model) от SORA-Lab, которая предсказывает следующие 2 секунды движения автомобиля сразу по трём сенсорам: обычной RGB-камере, тепловизору и карте глубины LiDAR (лазерного радара). На вход подаются 5 наблюдаемых кадров с частотой 10 Гц, а на выходе генерируются 20 кадров будущего в условиях тумана, дождя, снега или ночи. В основе лежит база NVIDIA Cosmos-Predict2.5-2B, дообученная через LoRA (адаптеры малого ранга) на датасете DSERT-RoLL. Главная особенность подхода — все три потока объединяются в один видеокадр в виде сетки 2×2. Пригодится исследователям и разработчикам беспилотного транспорта для симуляции и планирования в сложной погоде.
Ключевые особенности
- Единая сетка 2×2: кадр 1280×704 делится на четыре тайла по 640×352 — RGB сверху слева, тепловизор сверху справа, глубина LiDAR снизу слева и пустой чёрный квадрат снизу справа.
- Выигрыш по точности LiDAR: совместное обучение трёх модальностей снижает среднюю абсолютную ошибку (MAE) прогноза глубины до 4.68 м — это на 2.1 м лучше, чем у аналогичной LoRA-модели только для LiDAR (6.81 м).
- Работа в сложных погодных условиях: обучение проходило на 35 последовательностях из DSERT-RoLL, включая густой туман (23 клипа), сильный снегопад, дождь и ночные сцены.
- Готовый чекпоинт со слитыми весами: в репозитории лежит файл
tricosmos_ema_bf16.pt(3.9 ГБ, формат bf16) и конфигиexperiment.json, необходимые для сборки модели с параметрами LoRA.
Что можно сделать
- Симуляция дорожных сцен в непогоду: использовать в пайплайнах
cosmos-predict2.5для генерации 2-секундных мультисенсорных сценариев в тумане, снегопаде и ночью. - Оценка мультимодальных world-моделей: сравнивать совместное предсказание RGB, тепловизора и глубины с односенсорными базовыми решениями на валидационной выборке DSERT-RoLL.
- Дообучение под свои данные: взять опубликованный рецепт
train_tri_lora.yamlи схему упаковки тайлов 2×2 для адаптации Cosmos-Predict2.5-2B под собственные записи с автосенсоров.
Пример
import torch
sd = torch.load("tricosmos_ema_bf16.pt", map_location="cpu", weights_only=False)
sd = sd.get("model", sd) if isinstance(sd, dict) else sd
lora = [k for k in sd if "lora" in k.lower()]
print(len(sd), "tensors,", len(lora), "LoRA tensors")
Подробнее
Метрики (валидация DSERT-RoLL, горизонт 2 с): RGB PSNR — 21.71, Thermal PSNR — 24.61, LiDAR MAE — 4.68 м (против 5.71 м при простом повторе последнего кадра и 6.81 м у LiDAR-only LoRA).Обучение: LoRA rank 16, alpha 32 на слоях внимания и MLP; 500 шагов в bf16 на клипах по 93 кадра; генерация оценивалась при 35 шагах сэмплирования и guidance 7.
Ограничения: каждый сенсор обрабатывается в половинном разрешении тайла (640×352), на ближней дистанции менее 10 м простой повтор последнего кадра LiDAR всё ещё точнее, а полный код инференса авторы обещают выложить после рецензирования статьи.
Лицензия: NVIDIA Open Model License (на основе Cosmos-Predict2.5-2B).










Комментарии