wam-openarm-vwam-pfaction-humvid-agv-50k-iter50000
OpenArm-политика, где action-поток слушает только pointflow
2 min read
Это экспериментальный чекпоинт VWAM для робота OpenArm (EXP-0019), вариант motion-pfaction-humvid. В основе — backbone Cosmos3-Nano MoT и ActionDiT с нуля; action-поток уменьшен до 4 блоков и читает K/V только pointflow-стадии, без K/V видео/VLM.
Ключевые особенности
- ActionDiT уменьшен до 4 блоков (hidden 1024); блок k смотрит на свои action-строки и K/V pointflow-стадии k (per-block LayerNorm + проекция K/V 256→1024).
- Pointflow: 12 точек кисти × 24 будущих смещения, 4 стадии, ширина 256; читает слои backbone 3/5/7/9.
- Pointflow зашумляется под sigma видео/действия каждого сэмпла (общее расписание) и обучается flow-matching loss 0.2; action-loss доходит до backbone только через pointflow.
- Данные motion-humvid: 6 робот-подмножеств + 4 человеческих подмножества как video-only строки (box source исключён), ровно 8 robot + 8 human на GPU, b64, 50k шагов, seed 42, LR 1e-4, warmup 2500, cosine до 10%.
- Robot action 28-D: руки относительные, шея/кисти абсолютные; ActionDiT обучался с нуля.
- Для инференса нужен pointflow-поток: текущие 12 точек кисти и совместный денойзинг flow и action; это не путь сервинга junhyeong.
Пример
Сценарий из карточки: на вход подаются текущие 12 точек кисти, flow и action денойзятся совместно. Штатный serving-путь junhyeong для этого чекпоинта не подходит.
Подробнее
Чекпоинтiter_000050000 — torch DCP с EMA, без оптимизатора; рядом scheduler/, trainer/, config.yaml/config.pkl и normalization.json с q01/q99.Бенчмарков и требований к VRAM в карточке нет.
Инференс требует pointflow-поток и совместного денойзинга flow/action; это не штатный путь сервинга junhyeong.
Код: runtime junhyeong
vwam-openarm-resume-20261103-v1 + pflow_action_l4.patch.









Comments