X-VLA-Food-Progress
робот-манипулятор с оценкой прогресса готовки
2 min readupdated
Модель объединяет базовую политику управления роботом X-VLA (Vision-Language-Action — нейросеть, переводящую картинку с камер и текстовую команду в движения) с тремя обученными MLP-головами (многослойными перцептронами) для отслеживания прогресса выполнения задачи. Система раскладывает продукты по посуде в три этапа: перекладывает морковь на тарелку, булочку в миску и батат на тарелку. В отличие от обычных политик, модель не только генерирует моторные действия, но и оценивает завершённость каждого этапа по текущему кадру без опоры на историю событий. Решение пригодится исследователям в области робототехники для мониторинга многошаговых манипуляций в реальном времени.
Ключевые особенности
- Входной вектор признаков размерностью 2055 объединяет усреднённые токены энкодера Florence2 с верхней камеры (1024) и камеры на запястье (1024), а также 7 нормализованных показаний суставов манипулятора.
- Базовая модель X-VLA (чекпоинт на 150 000 шагов) остаётся замороженной — поверх неё отдельно обучены три головы прогресса архитектуры
2055 → 256 → 64 → 2с активацией ReLU. - На выходе каждая голова выдаёт оценку прогресса этапа (через сигмоиду) и логит его завершения, из которых вычисляется общая шкала прогресса от 0 до 3 при пороге 0.5.
- В репозиторий включены как полный нативный чекпоинт основной модели, так и веса голов (шаг 6 500) вместе с архивом исходного кода.
Что можно сделать
- Использовать базовую политику через метод
generate_actionsдля управления манипулятором при сортировке и раскладке продуктов. - Подключить MLP-головы к выходу энкодера
model.forward_vlmчерез функцииload_probeиstage_coordinate, чтобы отслеживать переход между этапами задачи. - Тестировать точность предсказания прогресса на записанных траекториях с реального робота без запуска замкнутого цикла управления.
Пример
hf download SXY7/X-VLA-Food-Progress --local-dir X-VLA-Food-Progress
tar -xzf X-VLA-Food-Progress/code/X-VLA.tar.gz -C X-VLA-Food-Progress
cd X-VLA-Food-Progress
export PYTHONPATH="$PWD/code/food_progress:$PWD/code/X-VLA"
Подробнее
Обучение голов проводилось на кэшированных признаках замороженного энкодера (разбиение эпизодов 70/15/15, BS8/GA2, выбор лучшего чекпоинта на 6 500 шагах по валидации).Требуется строгая совместимость препроцессинга и размерности признаков (2055) с поставляемым кодом X-VLA.
Драйверы робота и готовый единый интерфейс
AutoModel.from_pretrained не входят в комплект — связывание голов с энкодером выполняется вручную.Оценка проводилась на записанных данных реального робота, а не в живом замкнутом цикле выполнения.










Comments