HINT-WAM
дообучение world action model для робототехники
1 мин чтения
Модель HINT-WAM выполняет post-training (последующее дообучение) для world action model под названием Fast-WAM. Во время обучения модель использует демонстрационное видео будущего в качестве подсказки (hindsight), выступая собственным учителем для эксперта по действиям с использованием энергетического целевого показателя. При развертывании используется только студент, что сохраняет архитектуру и затраты на вывод базовой модели Fast-WAM. Решение предназначено для исследователей и разработчиков в сфере робототехники и имитационного обучения.
Ключевые особенности
- Повышение точности управления роботами в симуляторах LIBERO и RoboTwin.
- Самообучение с использованием будущих демонстрационных видео (hindsight).
- Полная совместимость с архитектурой и настройками вывода базовой модели Fast-WAM.
- Доступность чекпоинтов для интеграции в существующие пайплайны.
Что можно сделать
- Применить чекпоинт
libero90/hintwam_libero90.ptдля задач манипуляции в бенчмарке LIBERO-90. - Провести закрытую оценку (closed-loop evaluation) с использованием стандартных эмуляторов Fast-WAM.
- Исследовать метод энергетического скоринга для дообучения других моделей действий.
Пример
from huggingface_hub import hf_hub_download
repo = "tuandattttt/HINT-WAM"
config = hf_hub_download(repo, "config.yaml")
ckpt = hf_hub_download(repo, "libero90/hintwam_libero90.pt")
Подробнее
Бенчмарки (LIBERO-90): успех 85.18% (против 15.56% у базовой Fast-WAM и 78.88% у SFT).Обучение: AdamW, cosine schedule, батч 192, 8 видеокарт с 24 GB VRAM, bfloat16, DeepSpeed ZeRO-2.
Лицензия: MIT.










Комментарии