LoopedWAM
эластичные модели действий для робототехники
2 мин чтенияобновлено
LoopedWAM и её эластичная версия LoopedWAM-E представляют собой специализированные модели политики (policy models) для управления роботами, созданные на базе генеративной архитектуры Wan2.1-T2V-1.3B. Каждая модель разработана под конкретные бенчмарки и задачи робототехники, обеспечивая высокую точность выполнения манипуляций в симуляторах и на реальном оборудовании. Модели используют по 0.58B параметров в компактной блочной структуре и опираются на внешние компоненты кодирования текста и VAE (вариационного автоэнкодера). Новинка будет интересна исследователям и инженерам, занимающимся автономным управлением роботами и разработкой управляющих политик.
Ключевые особенности
- База на Wan2.1: Использование наработок генеративной видеомодели Wan2.1-T2V-1.3B, оптимизированной для управления действиями роботов.
- Эластичный инференс: Версия LoopedWAM-E поддерживает изменение числа шагов деноизинга и циклов на лету без повторного обучения.
- Широкое покрытие бенчмарков: Чекпоинты обучены для популярных сред вроде LIBERO, RoboTwin 2.0 и RoboCasa-GR1, а также протестированы на реальном роботе AgileX PiPER.
- Готовые веса и статистика: Каждый релиз содержит файл весов policy.pt в формате FP32 и файл dataset_stats.json с параметрами нормализации.
Что можно сделать
- Интеграция в симуляторы: Запустить модели в бенчмарках LIBERO (4 набора задач), RoboTwin 2.0 или RoboCasa-GR1 для оценки успешности манипуляций.
- Тестирование эластичности: Настроить параметры инференса (K_a и N) у моделей LoopedWAM-E для баланса между скоростью работы и качеством управления.
- Управление манипулятором: Применить чекпоинты для реального робота AgileX PiPER на основе собранных телеоперационных демонстраций.
Пример
Для запуска модели требуются веса политики, а также внешние файлы кодировщика текста и VAE от проекта Wan2.1 (например, Wan2.1_VAE.pth и models_t5_umt5-xxl-enc-bf16.pth).
Подробнее
• Бенчмарки: LIBERO (успешность до 96.1%), RoboTwin 2.0 (до 91.9%), RoboCasa-GR1 (до 52.4%).• Архитектура: 3/6/3 блочная партиция, 4 видео и 4 action-core цикла на базе Wan2.1-T2V-1.3B.
• Файлы весов: формат FP32 (около 2.3–2.7 ГБ на чекпоинт).
• Ограничения: требуются дополнительные публичные файлы VAE и текстового энкодера Wan2.1.










Комментарии