Робототехникаallenai
ManiFlow-tb
низкоуровневая политика для сборки блоков
2 мин чтенияобновлено
ManiFlow-tb от Ai2 — низкоуровневая модель действий для проекта ToyBlocks: манипулятор Franka в симуляции перекладывает и поворачивает три блока на столе. Архитектура ManiFlowMultiModal с DiTX action head (12 слоёв, 8 голов, ширина 768), 322,5 млн параметров, веса в bf16 safetensors. Модель предсказывает чанки из 25 исполняемых 9-мерных абсолютных действий при горизонте предсказания 50.
🔥 Ключевые особенности
- 👁 Входы: front и gripper RGB 224×224 через CLIP ViT-B/16, 9-мерное состояние робота, имя задачи через T5-small и токен target heatmap от high-level политики.
- 🔥 Flow matching с consistency training: 12 шагов интеграции на инференсе.
- 🎏 Выход: 25 действий; последняя размерность — play mode (1 play, 0 pause, -1 skill done), её нужно возвращать в модель при 1 или 0.
- 🏔 Обучение: 200 000 шагов на 8 GPU, batch 128 на устройство, AdamW, bf16 mixed precision; взяты online-веса финального шага.
- ✅ Оценка в ToyBlocks: 128 эпизодов с oracle high-level планом, успех 54–59% в четырёх прогонах.
🐆 Пример
hf download allenai/maniflow-tb --local-dir maniflow-tb
python scripts/launch_eval.py --policy maniflow --model-path maniflow-tb/checkpoints/steps_200000_model.safetensors --dataset-path <ToyBlocks eval dataset> --expert-timeout-scale 3.0 ...Подробнее
Бенчмарк: 73/128, 75/128, 76/128 и 69/128 успешных эпизодов (54–59%), столкновений 30–38.Оценка — только low-level модели: high-level план берётся из записанной задачи.
При стандартном лимите 30 с большинство эпизодов не успевает; в оценке лимит 3× от эксперта (194 с).
Веса — online (non-EMA) финального шага 200 000; лицензия Apache 2.0.
Комментарии