VLA-Bind-adapters
набор адаптеров для роботов на базе OpenVLA и pi0.5
2 мин чтенияобновлено
Репозиторий содержит обученные политики (алгоритмы управления роботом) для статьи Lost Among Look-Alikes: A Benchmark for Attribute Binding in Vision-Language-Action Policies. Модели решают задачу точного связывания визуальных атрибутов и текстовых команд, чтобы робот не путал похожие друг на друга объекты при выполнении действий. В основе лежат базовые VLA-модели (Vision-Language-Action — мультимодальные модели, переводящие зрение и текст в действия) OpenVLA-7B с надстройками LoRA (лёгкими адаптерами поверх основной модели) и pi0.5. Релиз пригодится исследователям робототехники для воспроизведения экспериментов и тестирования роботов в сценах с похожими предметами.
Ключевые особенности
- Два семейства моделей: включены LoRA-адаптеры для
openvla/openvla-7bи чекпоинты дляpi0.5(включая объединённые весаmerged_step020000). - Сравнение разных стратегий обучения: представлены базовые версии (
B1), варианты с контрфактической аугментацией данных (RECON-AUG-T), переписанными инструкциями (LANG) и дополнительной головой-указателем на целевой объект (PTR). - Все сохранённые шаги: в каждом каталоге доступны чекпоинты со всех этапов обучения (например, до 20 000 или 25 000 шагов) для анализа динамики.
- Статистика действий в комплекте: рядом с каждым шагом лежит файл
dataset_statistics.jsonдля корректной денормализации предсказанных движений робота.
Что можно сделать
- Запустить управление манипулятором в симуляторе или на стенде: загрузить базовую модель
openvla/openvla-7bвместе с нужным адаптером через библиотеку PEFT для выполнения команд в средах с похожими объектами. - Сравнить методы борьбы с путаницей атрибутов: протестировать на бенчмарке
LALABAB/VLA-Bindразницу между обычным обучением, переписыванием инструкций (LANG) и контрфактическими примерами (RECON-AUG-T). - Изучить прогресс обучения по шагам: оценить качество политики на разных итерациях, используя сохранённые промежуточные чекпоинты без необходимости обучать модели с нуля.
Пример
Для использования OpenVLA-версий загрузите базовую модель openvla/openvla-7b и подключите выбранную папку адаптера (например, openvla/RECON-AUG-T_s1) с помощью библиотеки PEFT. Для перевода выходов модели в реальные координаты действий используйте параметры из файла dataset_statistics.json, который находится рядом с каждым чекпоинтом.
Подробнее
Обучено на датасете Train-Bind: 4 860 демонстраций в базовом вариантеB1 (20 000 шагов) и 9 720 демонстраций в RECON-AUG-T.В чекпоинтах не сохранены состояния оптимизатора для продолжения обучения.
Лицензии зависят от базовой модели: Llama 2 Community Licence для веток OpenVLA и условия использования Gemma для pi0.5.










Комментарии