VLA_Samer_08.11.2026_400eps_policy_Pi0
политика управления роботом UR5
2 min readupdated
Это дообученная VLA-модель (Vision-Language-Action — нейросеть, которая объединяет зрение, понимание текстовых инструкций и генерацию действий для роботов) для управления промышленным манипулятором ur5. Модель создана пользователем SamerAyyad на базе lerobot/pi0_base (адаптация архитектуры π₀ от Physical Intelligence в библиотеке LeRobot) и имеет размер 4.03B параметров. В отличие от базовой универсальной версии, этот чекпоинт заточен под конкретную операцию: захват процессора вакуумной присоской и его перенос в коробку. Пригодится разработчикам и исследователям в области робототехники, работающим с манипуляторами UR5 и фреймворком LeRobot.
Ключевые особенности
- Построена на базе
lerobot/pi0_base(4.03B параметров) с использованием LeRobot версии 0.6.2. - Принимает на вход изображение с камеры разрешением 480×640 (3 канала) и вектор текущего состояния робота из 7 значений.
- Выдаёт вектор управляющих действий размерностью 7 для выполнения целевой задачи.
- Обучена на специализированном датасете из 400 эпизодов (259 635 кадров, записанных с частотой 30 FPS).
- Распространяется под свободной лицензией Apache 2.0.
Что можно сделать
- Запустить автономную сборку или сортировку деталей на роботе UR5 с вакуумным захватом по текстовой команде.
- Использовать веса как отправную точку для дальнейшего дообучения под похожие задачи манипуляции мелкими компонентами в LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=ur5 \
--robot.port= \
--robot.cameras="{ camera: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
--policy.path=SamerAyyad/VLA_Samer_08.11.2026_400eps_policy_Pi0 \
--task="Pick up the CPU with the suction gripper and place it in the box" \
--duration=60
Подробнее
Обучение: 20 000 шагов, batch size 32, оптимизатор AdamW, learning rate 2.5e-05.Датасет: SamerAyyad/VLA_Samer_08.11.2026_400eps (400 эпизодов).
Ограничения: в карточке пока не приведены результаты замеров успешности выполнения на реальном роботе.










Comments