vga-pretrain-libero90
компактная основа для обучения роботов
2 мин чтенияобновлено
Предобученная многозадачная модель VGA (Vision-Geometry-Action) от vga-robotics для управления роботизированными манипуляторами. Модель обучена с нуля на всех 90 задачах бенчмарка LIBERO-90 и служит базой (бэкбоном) для быстрого дообучения на новых сценариях даже по малому числу примеров (few-shot). При размере всего около 14.5 млн параметров и весе чекпоинта 32.3 МБ она сочетает визуальное восприятие, понимание 3D-геометрии и языковые команды через текстовые эмбеддинги SigLIP. Подойдёт исследователям и инженерам в области робототехники, которым нужна лёгкая стартовая точка для обучения манипуляции объектами.
Ключевые особенности
- Компактная архитектура: 4-слойный Transformer-ствол (6 голов внимания, размерность 384) в связке с 4-слойным модулем генерации действий на базе Flow-Matching (всего ~14.5M параметров).
- Учёт 3D-геометрии: использует 6-мерные лучи камеры Плюккера (Plücker rays), квантованный контроль глубины и сглаживание траектории на 4 шага вперёд.
- Языковое управление: понимает текстовые инструкции за счёт 32-токеновых пословных эмбеддингов SigLIP.
- Готовый набор файлов: в репозитории есть не только веса для дообучения, но и автономное определение архитектуры с метриками обучения.
Что можно сделать
- Дообучить модель в режиме few-shot (например, всего на 5 демонстрациях) на целевых задачах из набора LIBERO.
- Адаптировать чекпоинт под собственные сценарии роботизированной манипуляции с помощью встроенного скрипта запуска.
Пример
python vga.py --init_ckpt ckpt.pt --data data/proc_libero_goal --out runs/vga_pt_goal --shots 5 --steps 6000 --rays --depth --smooth --word_lang --task_balance
Подробнее
Обучена с нуля на 900 траекториях (90 задач LIBERO-90 по 10 демонстраций).Бюджет предобучения: 30 000 шагов с размером батча 64 (1 920 000 сэмплов) и иерархической балансировкой эпизодов.
Вес файла весов составляет ~32.3 МБ, фреймворк — PyTorch.










Комментарии