Zero-WAM Franka

Репозиторий с чекпоинтами трёх прогонов на реальной Franka с камерой на голове и на запястье. Все запуски используют одни данные: четыре задачи и 601 эпизод телеоперации. Внутри — полный transformer Zero-WAM, head fine-tuning и LingBot-VA.

➕ Ключевые особенности

• ▶ icl_4tasks_676_1102: обучается весь transformer Zero-WAM, старт с zero-wam-pretrain, около 20 ГБ на чекпоинт.
• ➕ headft_pretrain_4tasks_1107: обучаются только дельты 24 голов video-expert и 48 голов action-expert, transformer заморожен; 0.45 ГБ.
• 🔜 lingbot_4tasks_1106: полный transformer LingBot-VA, 10.2 ГБ, старт с lingbot-va-base.
• ✖ В каждом прогоне два чекпоинта — step 2000 и step 4000, плюс metrics.jsonl и SHA256SUMS.
• ➖ Видео человеческих демонстраций в репозиторий не входят.

1⃣ Пример

Чекпоинт icl_4tasks_676_1102 не обучался на одной инструкции, поэтому в карточке его советуют запускать в ICL-режиме с человеческой демонстрацией задачи. Для LingBot-VA достаточно языковой инструкции.

Подробнее

601 эпизод: strawberry_plate — 100, two_plushies — 200, cube_drawer — 101, red_cube_on_blue — 200.
4000 шагов оптимизатора по 16 сэмплов, 8×A100-80GB, около 106 проходов по данным.
Loss на train у icl-прогона: video 0.217→0.092, action 0.0149→0.0032; сравнивать чекпоинты нужно на роботе.
Код обучения и сервинга для headft и LingBot-VA ещё не выложен; VAE, text encoder и tokenizer берутся из zero-wam-pretrain.