SemWAM-RoboTwin-NoSemantic-v1
модель мира для робототехники
2 min readupdated
Финальный чекпоинт модели SemWAM, обученный для задач робототехники в среде RoboTwin. Модель работает с двумя потоками данных об окружающем мире (world streams): RGB и картой глубины (depth), при этом поток семантической информации в этой версии отключён. Обуславливание действий (action conditioning) опирается на данные о глубине, а RGB-поток используется как вспомогательная цель моделирования. Решение пригодится исследователям и разработчикам в области робототехники, работающим с world-моделями и симуляторами.
Ключевые особенности
- Два визуальных потока: использует RGB-изображения и карты глубины без семантического канала.
- Опора на глубину: генерация и привязка действий робота считывают данные из потока глубины, оставляя RGB вспомогательной задачей.
- Полный комплект для запуска: в репозиторий включены веса в формате v2, восстановленный конфиг
config.yaml, контракт инференсаinference_config.jsonи статистики нормализацииdataset_stats.json. - Проверка целостности: тензоры, статистика и контрольные суммы SHA256 проверены перед публикацией.
Что можно сделать
- Использовать чекпоинт в экспериментах по планированию действий и управлению роботами в симуляторе RoboTwin.
- Провести абляционное сравнение (ablation study), чтобы оценить вклад семантического потока по сравнению с конфигурацией, опирающейся только на глубину и RGB.
Пример
Для запуска инференса необходимо сначала восстановить сохранённый контракт модели из inference_config.json (или config.yaml), загрузить веса checkpoints/weights/step_021475.pt и применить статистики нормализации действий и состояний из dataset_stats.json с сохранением исходной геометрии камер.
Подробнее
Обучение: 5 эпох, 21 475 шагов оптимизатора на 8 узлах.Веса:
checkpoints/weights/step_021475.pt (формат v2).Ограничения: публикация не гарантирует показатели в замкнутых бенчмарках (closed-loop); состояния оптимизатора и RNG исключены.
Требования: при запуске нужно использовать внешние замороженные ассеты, хеши которых указаны в
checkpoint_manifest.json.









Comments