Harness VLA pi0.5 Real
робототехническая модель с текстовой памятью
1 мин чтенияобновлено
Чекпоинт VLA-модели ( Vision-Language-Action, объединяющей зрение, язык и управление действиями) на базе архитектуры pi0.5, обученной на данных реального робота. Модель оснащена текстовым модулем памяти (scheme C) и предназначена для развертывания и инференса на робототехническом оборудовании. Обучение заняло 10 000 шагов оптимизатора, и чекпоинт успешно прошёл валидацию при перезагрузке. Подойдет исследователям и инженерам в области робототехники, работающим с физическими устройствами.
Ключевые особенности
- Базируется на архитектуре pi0.5 (Vision-Language-Action модель)
- Добавлена текстовая память (scheme C) для последовательного выполнения задач
- Обучена на реальных робототехнических данных объемом более 48 тысяч строк
- Полный набор параметров инференса весит около 13.4 ГБ
- Включает встроенные веса и код трекера на базе SAM 3 для развертывания
Что можно сделать
- Запустить инференс модели с помощью входящего в комплект скрипта policy.py
- Использовать встроенный трекер чаш на базе SAM 3 для задач захвата и манипуляций
- Настроить деплой-цикл для реального робота с помощью скрипта real_deploy.py
- Интегрировать конфигурационные файлы и статистику нормализации для проверки целостности
Пример
Пример кода для запуска и загрузки модели через policy.py можно найти в репозитории модели в директории source/.
Подробнее
Шагов оптимизатора: 10,000 (глобальный батч 128)Строк обучающих данных: 48,609
Финальная потеря (loss): 0.0041
Ограничения: Модель еще не тестировалась на реальном роботе
Вес параметров: ~13.4 ГБ










Комментарии