Pi05 Server
сервер для запуска робототехнической модели pi0.5 на NPU
2 мин чтенияобновлено
Инструмент pi05-server позволяет развернуть зрительно-языковую модель pi0.5 (vision-language-action model) прямо на аппаратной плате с NPU (нейропроцессором). Сервер принимает через HTTP-запросы изображения с камер, текущее состояние робота и текстовую задачу, а в ответ выдает последовательность из 50 будущих действий. Модель использует квантование W8A8 (8-битные веса и активации) для языка и эксперта действий, что обеспечивает эффективную работу на встроенном железе.
Ключевые особенности
- NPU-ускорение: модель развертывается один раз при старте и обрабатывает запросы на NPU.
- W8A8 квантование: 8-битные веса для языковой модели и эксперта действий по умолчанию.
- Готовый HTTP-API: эндпоинты для отправки действий (
POST /v1/actions), проверки здоровья и получения информации. - Управление состоянием: поддержка очереди запросов и воспроизводимости через seed или фиксированный noise.
Что можно сделать
- Запустить сервер на робототехнической плате (aarch64) с поддержкой NPU.
- Отправлять кадры с трех камер, состояние робота и текстовую команду (промпт) для генерации траектории движения.
- Тестировать модель с помощью Python-клиента и сравнивать результаты с эталонными прогонами.
Пример
sh pi05-server-0.1.0-Linux.sh --skip-license --exclude-subdir
./pi05-server -w model.safetensors \
-w-llm-w8a8 pi05_llm_w8a8.gguf \
-w-ae-w8a8 pi05_ae_w8a8.gguf \
--host 0.0.0.0 --port 8080Подробнее
Файлы в репозитории: исполняемый файл сервера,model.safetensors (зрительный энкодер и эмбеддинги), а также GGUF-файлы для языковой модели и эксперта.Входные данные: ровно 3 изображения с камер (масштабируются до 224x224), массив состояния робота и текстовый промпт.
Выходные данные: массив размером 50 шагов на 32 нормализованных значения действий.










Комментарии