pi05-droid-fp16-ov
OpenVINO пакет для робототехнической модели π0.5
2 мин чтенияобновлено
Этот пакет представляет собой конвертированную версию модели lerobot/pi05_droid (модель общего назначения π0.5 от Physical Intelligence, настроенная под роборуки DROID Franka) в формат OpenVINO IR с весами в формате fp16. Пакет оптимизирован для запуска инференса на центральных (CPU) и графических (GPU) процессорах Intel с помощью движка Cascadia ov-policy. В сборку также добавлены необходимые нормализационные статистики и токенизатор PaliGemma, переведённый в формат OpenVINO. Модель пригодится разработчикам робототехники и инженерам, тестирующим роборуки на оборудовании Intel.
Ключевые особенности
- Конвертация из PyTorch в OpenVINO IR с весами fp16 для процессоров и видеокарт Intel.
- Добавлены нормализационные статистики, обрезанные до 8 реальных размерностей (7 суставов и захват).
- Один из слотов камеры (
right_wrist_0_rgb) оставлен пустым в соответствие с логикой оригинальной политики DROID. - Токенизатор PaliGemma также полностью конвертирован в OpenVINO формат.
Что можно сделать
- Запустить робототехническую политику на оборудовании Intel через движок Cascadia.
- Протестировать обработку визуальных данных с камер (
base_0_rgbиleft_wrist_0_rgb) и выдачу последовательности действий для роборуки. - Сравнить производительность инференса OpenVINO на CPU и GPU с оригинальной версией на PyTorch.
Пример
Запуск модели для инференса через движок Cascadia:
cascadia run ./pi05-droid-fp16-ov --engine ov-policy --device GPUПодробнее
• Точность весов: fp16 с графом в float32.• Входные данные: две камеры 224x224 RGB, состояние из 8 значений и текстовый промпт-инструкция.
• Выходные данные: чанк из 15 действий (используются первые 8).
• Лицензия: подпадает под Условия использования Gemma и Политику запрещенного использования Gemma.










Комментарии