vla_ma

vla_ma — LoRA-адаптер для FineART-VLA от pmolodyk. Он восстанавливает адаптер, процессоры и токенизаторы на закреплённой базовой модели lerobot/FineART-VLA-subtask-midtrained. Предназначен для роботизированных манипуляций: по состоянию и трём RGB-камерам выбирает следующую подзадачу и предсказывает последовательность действий.

▶ Ключевые особенности

• ➕ LoRA-адаптер поверх FineART-VLA; загрузчик возвращает policy, preprocessor и postprocessor.
• 🔤 На входе 14-элементный вектор состояния и три RGB-изображения: cam_high, cam_left_wrist, cam_right_wrist.
• 🟰 Планировщик выбирает следующую подзадачу через select_message, затем predict_action_chunk выдаёт 50 шагов действий.
• 🔜 Выход — absolute action targets формы [1, 50, 14].
• 0⃣ Проверено с LeRobot commit 72e1d9e5e76ee719bacfc78bc34d817bee5fb521, Transformers 5.5.4 и PEFT 0.21.2; нужен Python 3.12 и CUDA-PyTorch.

🔤 Пример

import sys
from huggingface_hub import snapshot_download
root = snapshot_download("pmolodyk/vla_ma")
sys.path.insert(0, root)
from load_policy import load_policy
policy, preprocessor, postprocessor = load_policy(root, device="cuda")
# далее: obs + task -> select_message -> predict_action_chunk

Подробнее

База: lerobot/FineART-VLA-subtask-midtrained, ревизия b6cf4faf2630f971dd390bc32365e9d9c330da8e.
Бенчмарков и требований к VRAM в карточке нет; указаны Python 3.12, CUDA-PyTorch и фиксированные версии LeRobot/Transformers/PEFT.
Порядок суставов — в config.json; для инференса нужны три RGB-тензора [0,1] и 14-мерный state. Лицензия наследует условия Gemma.