CoilWAM_real4task
политика управления роборукой AgileX Piper
2 мин чтенияобновлено
Это весовые коэффициенты нейросетевой политики (модели принятия решений для роботов) CoilWAM v0 4/4, обученной выполнять четыре настольные задачи на реальном манипуляторе AgileX Piper. На вход модель принимает склеенные кадры с фронтальной и наручной камер, текущие углы шести суставов с положением захвата, а также текстовую инструкцию задачи. На выходе она предсказывает последовательность из 32 целевых положений суставов и гриппера с шагом 1/15 секунды. Подойдёт исследователям в области робототехники и инженерам, работающим с манипуляторами Piper и мультизадачным обучением с подкреплением или имитацией.
Ключевые особенности
- Мультимодальный вход: объединяет RGB-изображения с фронтальной и наручной камер (приводятся к размеру 192×256), проприоцепцию (данные о положении
joint_1..6.posиgripper.pos) и текстовую команду из набора семи инструкций. - Предсказание траектории (action chunking): за один запрос выдаёт сразу 32 целевых значения углов в градусах и положения захвата с интервалом 1/15 секунды.
- В репозитории выложены два промежуточных чекпоинта на 20 000 и 25 000 шагов обновления (
step_020000.ptиstep_025000.pt) объёмом около 2,34 ГБ каждый. - В файлах сохранены только веса (
motиproprio_encoderвместе с метаданными архитектуры) без состояния оптимизатора, а также файл нормализацииdataset_stats_7d.json.
Что можно сделать
- Развернуть управление на реальном настольном манипуляторе AgileX Piper для воспроизведения четырёх базовых сценариев из датасета
anhdao69/data_real_4tasks. - Использовать выложенные чекпоинты и статистику нормализации
dataset_stats_7d.jsonдля дообучения политики под собственные настольные задачи манипуляции. - Сравнить поведение модели на разных этапах обучения (20k против 25k шагов) в симуляции или на реальном стенде.
Пример
Сценарий инференса по спецификации из карточки: подаём конкатенированный кадр front | wrist (каждый 192×256 RGB), нормализованные в диапазон [-1, 1] через dataset_stats_7d.json текущие углы joint_1..6.pos и gripper.pos вместе с одной из 7 текстовых инструкций — модель возвращает матрицу из 32 шагов целевых координат суставов и захвата с частотой 15 Гц.
Подробнее
Обучение: 400 эпизодов (по 100 на папку задачи) из датасета anhdao69/data_real_4tasks.Гиперпараметры: 30 000 обновлений, batch size 128, learning rate 1e-4 с прогревом 1 500 шагов и косинусным затуханием до 1e-6 (seed 42).
Размер весов: ~2,34 ГБ на чекпоинт (опубликованы промежуточные версии на 20k и 25k шагах).










Комментарии