DynamicVLA-LIBERO
VLA-модель для манипуляций с динамическими объектами
2 мин чтения
DynamicVLA — это vision-language-action модель (мультимодальная модель для зрения, текста и управления) для управления робототехникой в задачах с динамическими объектами. Данный чекпоинт представляет собой реализацию для библиотеки LeRobot, дообученную на всех четырех наборах данных LIBERO на базе DOM-предобученной модели. Модель предназначена для исследователей и разработчиков в сфере робототехники, занимающихся решением задач захвата и манипуляции предметами. Она демонстрирует высокую точность выполнения задач на различных тестах LIBERO благодаря интеграции визуальных и текстовых данных с управлением действиями робота.
Ключевые особенности
- Базируется на концепции Vision-Language-Action (VLA) для динамического манипулирования объектами
- Протестирована на всех четырех наборах данных LIBERO со средним показателем успешности 95.5%
- Реализована в экосистеме LeRobot для удобного тестирования и развертывания
- Обучена за 40 тыс. шагов с использованием аугментации изображений
Что можно сделать
- Провести оценку политики модели в симуляционной среде LIBERO с помощью утилиты `lerobot-eval`
- Протестировать производительность модели на различных наборах задач, включая LIBERO-Spatial, LIBERO-Object и LIBERO-10
- Интегрировать чекпоинт в собственные робототехнические пайплайны, поддерживающие LeRobot и задачи манипуляции
Пример
Запуск оценки модели в симуляторе с помощью команды:
lerobot-eval \
--policy.path=hzxie/dynamic-vla-LIBERO \
--env.type=libero \
--env.task=libero_spatial \
--eval.batch_size=10 \
--eval.n_episodes=50Подробнее
Успешность на тестах: LIBERO-Spatial — 96.6, LIBERO-Object — 98.4, LIBERO-Goal — 93.4, LIBERO-10 — 93.6 (в среднем 95.5)Обучение: 40k шагов, батч 72 (3 GPU), оптимизатор AdamW, 1k шагов разогрева
Данные: HuggingFaceVLA/libero (1,693 эпизода) с аугментацией изображений










Комментарии