SWAM
масштабируемая модель мировых действий для робототехники
1 мин чтенияобновлено
SWAM (Scaling World Action Models with Cross-Modal Alignment) — это семейство чекпоинтов для задач робототехники и управления действиями, использующее кросс-модальное выравнивание. Репозиторий содержит предобученные веса, а также версии, дообученные на данных RoboTwin. Модель помогает связывать визуальное восприятие мира с управляющими действиями робота и опирается на компоненты Wan и UMT5. Чекпоинты подойдут исследователям и инженерам, занимающимся робототехникой и симуляцией среды.
Ключевые особенности
- Кросс-модальное выравнивание: эффективная увязка визуальных данных и действий робота.
- Два варианта чекпоинтов: доступны предобученные веса и версия, дообученная на симуляционных данных RoboTwin Clean.
- Формат SafeTensors: веса разделены на шарды (sharded Safetensors), каждый чекпоинт весит около 27.98 ГБ.
- Открытая экосистема: полная интеграция с наборами данных и исходным кодом проекта.
Что можно сделать
- Запуск симуляций: использовать чекпоинты для оценки и обучения робототехнических агентов в среде RoboTwin.
- Дообучение моделей: применить предобученные веса SWAM для собственных робототехнических задач и адаптации под конкретное железо.
Пример
Скачивание предобученного чекпоинта SWAM через командную строку:
pip install -U huggingface_hub
hf download FreDERicia/SWAM --include "pretrain/*" --local-dir ./SWAMПодробнее
Размер чекпоинтов: ~27.98 ГБ каждыйФормат файлов: Sharded Safetensors
Архитектура: Требует предварительной подготовки компонентов Wan и UMT5
Батарейка бенчмарков: RoboTwin Clean benchmark










Комментарии