Simpler-Faster-WAM (rope-kvadapter-textca)
голова действий для роботов на базе Wan
2 мин чтенияобновлено
Модель представляет собой лёгкий модуль управления (action head) для робототехники, который предсказывает 32 последовательных 7-мерных действия манипулятора по текущему кадру с фронтальной и наручной камер, 8-мерному состоянию робота и текстовой инструкции. Разработка автора TongtongLiang опирается на замороженный бэкбон Simple-WAM, видео-энкодер Wan VAE и текстовый энкодер T5, сохраняя нативное 3D-позиционное кодирование RoPE (метод учёта координат и времени в трансформерах). От базовых версий решение отличается добавлением поканальных аффинных адаптеров для ключей и значений (KV-adapter) и модуля перекрёстного внимания к тексту с маскированием нулевого паддинга T5, что позволяет корректно обрабатывать изменённые и нестандартные формулировки команд. Инструмент пригодится исследователям и инженерам, тестирующим политики управления роботами в симуляторах LIBERO и LIBERO-Plus.
Ключевые особенности
- Две версии весов только для инференса: обычные (
raw) и сглаженные методом экспоненциального скользящего среднего (emaс коэффициентом 0.995) после 10 эпох обучения. - Архитектура ActionDiT с 32 обучаемыми запросами действий, 24 головами внимания и статическим слиянием признаков по всем 30 видеослоям бэкбона.
- Поддержка произвольных текстовых инструкций благодаря переменной длине Flash Attention и фильтрации пустых токенов T5 до подачи в MLP.
- Готовая интеграция с форматом данных LeRobot и симулятором LIBERO-Plus, включая встроенную нормализацию состояний и инверсию команд захвата.
Что можно сделать
- Запустить оценку политики управления манипулятором на задачах из наборов
libero_spatial,libero_object,libero_goalиlibero_10в симуляторе LIBERO-Plus. - Протестировать устойчивость робота к языковым пертурбациям — переформулированным и ранее не встречавшимся текстовым инструкциям с флагом
--text. - Сравнить полное выполнение всех 32 предсказанных шагов (1,6 секунды при 20 Гц) с режимом скользящего горизонта, где исполняются только первые 8 шагов.
Пример
from inference import Policy
policy = Policy(compile=True, weights="ema")
policy.prepare_instruction(task.language)
actions = policy.from_libero_observation(obs, task.language)
for action in actions:
obs, reward, done, info = env.step(action.tolist())
if done:
break
Подробнее
Офлайн-метрики (EMA / Raw): общий MSE — 0.04243 / 0.04321, MSE на горизонте 0–8 шагов — 0.03150 / 0.03200.Требования к железу: Python 3.10, PyTorch 2.7.1 (CUDA 12.8), GPU с поддержкой BF16 и Flash SDPA (проверено на NVIDIA H100; дополнительно скачиваются ~12 ГБ весов Simple-WAM, ~2.8 ГБ Wan VAE и ~11.4 ГБ T5).
Ограничения: в репозитории опубликованы только веса головы действий без оптимизатора и базовых моделей; оценки в симуляторе LIBERO-Plus представлены как скрипт интеграции, а не готовый валидированный рейтинг.










Комментарии