CloudEdgeVLA
управление роботами при сетевых задержках
2 min readupdated
Эта VLA-модель (Vision-Language-Action — нейросеть, связывающая зрение, текст и действия) превращает изображения с камер и текстовые команды в последовательности движений для робота-манипулятора. Чекпоинт от DaojiePENG построен на базе OpenVLA-7B (архитектура со зрительным энкодером DINOv2 + SigLIP и языковой моделью Llama-2-7B) по рецепту OpenVLA-OFT и дообучен на четырёх наборах задач симулятора LIBERO. Главная особенность модели — устойчивость к задержкам кадров: её специально тренировали на устаревших наблюдениях, чтобы имитировать пинг при вычислениях в облаке. Пригодится исследователям робототехники и разработчикам систем облачного управления (cloud-edge) манипуляторами.
Ключевые особенности
- Устойчивость к лагам: при обучении использовалось окно задержки кадров W = 21 с эффективной историей в 64 кадра, благодаря чему модель сохраняет высокую точность даже при отставании картинки.
- Параллельное декодирование: за один проход предсказывает сразу 8 шагов вперёд (open-loop action chunks) через L1-регрессионную голову.
- Мультимодальный вход: обрабатывает изображения сразу с двух камер и учитывает проприоцепцию (данные о текущем положении суставов робота) через модуль
ProprioProjector. - Полная сборка: основные веса уже объединены в формат
safetensors(bf16), а отдельные модули головы действий и проектора лежат в корне репозитория.
Что можно сделать
- Воспроизвести бенчмарки из статьи CloudEdgeVLA в симуляторе LIBERO на наборах задач
libero_spatial,libero_object,libero_goalиlibero_10. - Протестировать сценарии облачного управления роботом с разной искусственной задержкой передачи видеопотока (от 0 до 40 шагов).
- Использовать в качестве готовой отправной точки для дальнейшего дообучения VLA-политик с параллельным предсказанием действий и проприоцепцией.
Пример
import torch
from huggingface_hub import hf_hub_download
from transformers import AutoModelForVision2Seq, AutoProcessor
repo_id = "DaojiePENG/cloudedgevla-libero-spatial-object-goal-10"
vla = AutoModelForVision2Seq.from_pretrained(
repo_id, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, trust_remote_code=True
).eval().cuda()
processor = AutoProcessor.from_pretrained(repo_id, trust_remote_code=True)
action_head_ckpt = hf_hub_download(repo_id, "action_head--95000_checkpoint.pt")
proprio_ckpt = hf_hub_download(repo_id, "proprio_projector--95000_checkpoint.pt")
Подробнее
Бенчмарк LIBERO (50 запусков на задачу, среднее по 4 наборам): 97.0% успеха без задержки (D0), 93.9% при задержке до 10 шагов (D10) и 72.4% при задержке до 40 шагов (D40).Детали обучения: чекпоинт на 95 000 шаге (из 100 000), learning rate 5e-4, точность bf16.
Ограничения: для запуска тестов требуется внешний симулятор LIBERO, а для загрузки модели нужен флаг
trust_remote_code=True и GPU с поддержкой CUDA.









Comments