khanhnd61/pop-pretrain-so101-community
чекпоинты политики PoP для робота SO-101
2 мин чтения
Репозиторий содержит чекпоинт предобучения и набор весов дообучения робототехнической политики PoP (Pointer Policy) для манипулятора SO-101. Вместо текстовых инструкций модель получает 2D-координату объекта, 2D-координату цели и короткий код навыка, предсказывая действия суставов на основе изображений с неподвижной и кистевой камер. Архитектура построена на визуальном энкодере DINOv2 ViT-S/14 и трансформер-декодере adaLN-zero (около 28M параметров) от автора khanhnd61. Проект подойдёт инженерам и исследователям робототехники, изучающим управление манипуляторами без языковых моделей.
Ключевые особенности
- Предобучение на 10 639 эпизодах: визуальный энкодер и управляющая голова (27.74M параметров) обучены методом поведенческого клонирования на датасете HuggingFaceVLA/community_dataset_v2.
- Указатели вместо текста: модель принимает 2D-точки объекта и цели с фурье-признаками и кодом навыка вместо текстовых описаний задач.
- Сравнение с текстовым бейзлайном: в карточке приведены замеры валидационной ошибки L1 для PoP и аналогичной политики с энкодером T5-Efficient-Tiny на одних и тех же данных.
- Четыре задачи манипуляции: складывание полотенца, открытие ящика с укладкой блока, составление стаканчиков и толкание кружки к цели.
Что можно сделать
- Протестировать на реальном SO-101: запустить дообученные чекпоинты на манипуляторе SO-101 для проверки работы политик вживую (в карточке приведена только валидационная ошибка на демонстрациях).
- Сравнить способы кондиционирования: использовать опубликованные веса и логи для анализа точности предсказания траекторий при задании цели точками против текста.
- Использовать базу для новых задач: взять предобученный чекпоинт step_200000.pt как отправную точку для дообучения на собственных демонстрациях 6-осевых манипуляторов.
Пример
import torch
ckpt = torch.load("finetune/261121-so101-pop-s0/step_040000.pt", map_location="cpu", weights_only=False)
ckpt["ema"] # веса модели (state dict)
ckpt["norm"] # нормализация состояний и действий
ckpt["instructions"] # токенизированные инструкции (для текстовых прогонов)
ckpt["config"] # параметры обученияПодробнее
Лучшая валидационная ошибка L1 на шаге 40k для PoP составляет 0.292 (0.284 без предобучения), минимальная ошибка достигается на 4k–6k шагах (0.271–0.278).База: DINOv2 ViT-S/14 (22.06M) + трансформер-декодер adaLN-zero (5.68M), обучение в bf16 с размером батча 64.
Ограничения: код архитектуры модели не включён в репозиторий; чекпоинты ещё не проверялись в реальных запусках на роботе; к 40k шагам наблюдается переобучение.










Комментарии