Робототехникаsuryatmodulus
Alpamayo 2 Edge
компактная VLA-модель для планирования движения
1 мин чтенияобновлено
NVIDIA выпустила Alpamayo 2 Edge — reasoning vision-language-action модель примерно на 2,65 млрд параметров. Она построена на backbone Cosmos 3 Edge и объединяет VLM с diffusion-декодером действий, чтобы генерировать траектории движения и причинные объяснения решений. Модель рассчитана на файнтюнинг и эффективное развёртывание в автомобиле на NVIDIA DRIVE AGX Thor.
🔥 Ключевые особенности
- 🚘 Генерирует навигационно-обусловленные траектории и текстовые Chain-of-Causation объяснения.
- 👁 На вход принимает шесть камер, 22 кадра, историю эго-движения и текстовую инструкцию.
- 🦾 В основе — VLM-backbone Cosmos 3 Edge и diffusion action expert на 0,2 млрд параметров.
- ✅ Умеет отвечать на свободные вопросы о дорожной сцене.
- ⬇ Поддерживает файнтюнинг и развёртывание на NVIDIA DRIVE AGX Thor.
💥 Пример
Сценарий из карточки: на вход подаются шесть камер, 22 изображения, 20 исторических эго-поз и текстовая навигационная инструкция. На выходе — 64 waypoint-а на 0,1–6,4 с с XYZ-позициями и матрицами поворота, а также отдельное reasoning-объяснение для каждого кандидата траектории.
Подробнее
Lingo-Judge — 75,2; minADE_6 на 5 с — 0,52 м.В closed-loop AlpaSim — 15,15 ± 0,04 км на инцидент.
Рекомендуется минимум 16 ГБ GPU-памяти; тестировали только H100 80GB, пик — 12,06 GiB.
Chain-of-Causation рассуждения в карточке на английском; другие GPU не валидированы.
Комментарии