SANA-Robot-AR-RoboDojo
эффективная модель управления роботами с гибридной памятью
1 мин чтения
SANA-Robot-AR — это модель мировой динамики и действий (world action model), созданная Efficient-Large-Model для робототехники. Она принимает текущие мультиракурсные наблюдения с камер, проприоцепцию (данные о положении частей тела робота) и языковую инструкцию, после чего предсказывает чанк из 32 управляющих шагов и будущее видео. Модель использует гибридную память (сочетание механизма softmax attention и слоев Gated DeltaNet), благодаря чему стоимость запроса не растет с длиной эпизода. Данный чекпоинт дообучен на бенчмарке RoboDojo для двуручного робота ARX-X5.
Ключевые особенности
- Гибридная память: обрабатывает историю эпизода без роста вычислительной сложности со временем.
- Управление роботом: выдает чанк из 32 шагов управления для двух рук робота ARX-X5.
- Мультиракурсность: использует кадры с головной и двух запястных камер.
- Сильные результаты: достигает среднего балла успешности 27.09% на официальном лидерборде RoboDojo.
Что можно сделать
- Тестирование в симуляторе: запустить модель для оценки политик управления манипулятором в среде RoboDojo.
- Исследования робототехники: изучить применение моделей мировой динамики для задач манипуляции.
- Дообучение: использовать чекпоинт для адаптации под новые задачи и робототехнические установки.
Пример
Скачивание весов модели для дальнейшего использования в коде:
hf download Efficient-Large-Model/SANA-Robot-AR-RoboDojo --local-dir checkpoints/sana_robot_ar_robodojoПодробнее
Политика: SANA-Robot-AR, 4.5B параметров.Текст-энкодер: Gemma 2 2B (не входит в комплект).
Видео VAE: LTX-2.3 VAE (не входит в комплект).
Лицензия: Apache 2.0.










Комментарии