chomeed/task2_full_grc_subtask_rel_chunk30_bs128_1120_40k
чекпоинт модели pi0.5 для робототехнической задачи вставки кабелей
2 мин чтенияобновлено
Данная модель представляет собой чекпоинт (на 40 000 шагов) робототехнической политики pi0.5, дообученный на датасете демонстраций для вставки кабелей в задачу GRC с помощью фреймворка LeRobot. Она принимает изображения с трех камер и 18-мерное состояние, прогнозируя промежуточные подзадачи с помощью встроенного VLM (Vision-Language Model — мультимодальная языковая модель) и выдавая последовательность действий для манипуляторов. Модель ориентирована на исследователей и инженеров, занимающихся управлением роботами с использованием библиотеки LeRobot.
Ключевые особенности
- Базовая модель: Основана на lerobot/pi05_base с использованием плагина pi05_subtask.
- Входы: Использует данные с трех камер (две d405 и одна zed_mini) и 18-мерный вектор состояния.
- Предсказание подзадач: VLM записывает текущую подзадачу, после чего эксперт действий строит траекторию.
- Параметры обучения: Пакет 128 (64 на GPU x 2 B200), оптимизатор AdamW, точность bf16.
Что можно сделать
- Запуск политики: Загрузить чекпоинт через класс PI05SubtaskPolicy для управления роботизированным комплексом.
- Интеграция с железом: Передавать данные с камер и состояние суставов для выполнения задачи вставки кабелей.
- Тестирование подзадач: Использовать предсказание подзадач для автоматизации многоэтапных манипуляций манипуляторами.
Пример
import torch, lerobot_policy_pi05_subtask
from lerobot.policies.factory import make_pre_post_processors
from lerobot_policy_pi05_subtask import PI05SubtaskPolicy
policy = PI05SubtaskPolicy.from_pretrained("chomeed/task2_full_grc_subtask_rel_chunk30_bs128_1120_40k")
pre, post = make_pre_post_processors(policy.config, pretrained_path="chomeed/task2_full_grc_subtask_rel_chunk30_bs128_1120_40k")
pad = torch.zeros(18, dtype=torch.bool)
batch = pre({"observation.state": state18, "observation.images.d405_left": img_left, "observation.images.d405_right": img_right, "observation.images.zed_mini": img_zed, "task": "insert the cable into the control module", "state_dim_is_pad": pad})
actions = post(policy.predict_action_chunk(batch))Подробнее
Фреймворк: LeRobot 0.6.2 pi05_subtaskОбучение: 40 000 шагов, train loss 0.002
Оборудование: 2 x B200 GPU (DDP)
Пространство действий: 18-мерное, чанк 30 шагов










Комментарии