TETHER_CVPR
4 задачи подряд: MAR против Experience Replay
2 мин чтенияобновлено
Это набор чекпоинтов DiT-Flow MT-политики для руки SO-100/SO-101 (so_follower), последовательно обученной на четырёх задачах манипуляции. После каждой задачи сохранён отдельный чекпоинт, поэтому видно, как развивается забывание. Автор сравнивает предложенный метод MAR (λ = 1, 2, 3) с Experience Replay в одинаковых условиях: старт, seed и разбиение данных.
Ключевые особенности
- Архитектура — DiT-Flow MT; формат
ditflow_mtотсутствует в upstream lerobot, нужен форкlerobot_lsy. - Четыре задачи: ring, box, carrot, stack_cup; по 50 эпизодов, последние 5 — hold-out.
- MAR хранит прошлое через кодовую книгу (state, визуальные признаки) и согласование с teacher в пространстве действий; λ задаёт вес якорной потери.
- ER держит по 5 эпизодов прошлых задач в буфере; в батче 24 текущих + 8 replay.
- Обучение: 10 000 шагов на задачу (40 000 всего), batch 32, seed 42, старт с
svla_so100_pretrained_clare. - Нужны данные LeRobot v3.0 и
AsdlMeta; статистики нормализации уже в чекпоинте.
Пример
import sys; sys.path.insert(0, '<путь>/policy_code')
from asdl_data import AsdlMeta
from lerobot.configs.policies import PreTrainedConfig
from lerobot.policies.factory import make_policy
path = '<путь>/mar_lam1/task_3'
cfg = PreTrainedConfig.from_pretrained(path)
cfg.pretrained_path = path; cfg.device = 'cuda'
policy = make_policy(cfg=cfg, ds_meta=AsdlMeta('<путь к ASDL датасету>')).eval()
Подробнее
Hold-out action MSE (4 задачи): ER — 0.01246, MAR λ=1 — 0.01181, λ=2 — 0.01187, λ=3 — 0.01218. Среднее забывание: ER +0.00008, MAR λ=1 −0.00025.Это MSE, а не success rate; seed один, задач четыре и порядок один. Pooled-нормализация использует min/max будущих задач, но только для масштаба.
VRAM не указана; в примере —
cuda.









Комментарии