Cosmos3-Nano

В репозитории Fluid-Motion-AI опубликованы веса Cosmos3-Nano — модели NVIDIA на 16B параметров. Это omnimodal world model на архитектуре Mixture-of-Transformers (MoT): одна башня autoregressive для текста, вторая diffusion — для изображений, видео, аудио и action. Рассчитана на робототехнику, автономный транспорт и smart space.

⚙ Ключевые особенности

• 🧭 На вход принимает текст, изображения, видео, аудио и траектории действий.
• 🎬 Генерирует текст, изображения, видео, аудио и action-последовательности.
• 🔍 Reasoner поддерживает контекст до 256K токенов, chain-of-thought, 2D/3D-локализацию и bounding box.
• 🕹 Action-вход/выход для совместимых embodiment: Franka Panda, Agibot, UR, Google robot, WidowX 250, UMI, AV и др.
• 💼 Лицензия OpenMDW1.1 — коммерческое и некоммерческое использование.

🎬 Пример

Сценарий из карточки: для single Franka Panda arm с RobotiQ (10D) можно подать траекторию действий вместе с текстом/изображением/видео, а модель сгенерирует согласованные видео, аудио и action-последовательность для задачи Physical AI.

Подробнее

Бенчмарки: в карточке не приведены.
Обучение: 1.3B data points, 393 датасета (2024–2026).
Железо: NVIDIA Ampere/Blackwell/Hopper, Linux; официально протестирован только BF16, FP4/FP8/FP16 не поддерживаются.
Ограничения: видео на вход — до 5 кадров, аудио — до 0.5 с; action — только для совместимых embodiment.