Робототехникаgulucaptain
Robot-ICL + A
адаптер для роботов, который смотрит на демонстрации
1 мин чтения
Это версия A адаптера Robot-ICL от gulucaptain для задачи robotics. Она добавляет в action-ветку Zero-WAM три gated cross-attention слоя с zero-инициализацией, чтобы модель могла читать токены из роботной демонстрации. База — Robbyant-Research/zero-wam-pretrain; обучение warm-start от Robot-ICL baseline на шаге 3 698.
✨ Ключевые особенности
- 👀 Замороженный DINOv2 ViT-B/14 кодирует восемь RGB-сэмплов с внешней камеры.
- 📌 Каждый сэмпл даёт сетку 2×2 pooled-признаков с временными и пространственными индексами.
- 🤖 Три zero-initialized gated cross-attention слоя подключены к action-ветке Zero-WAM.
- 💻 Сохранены video ICL и исходная обучающая цель MCP.
- 💎 В adapter.safetensors лежат LoRA, state/action heads, MCP-адаптеры и attention-слои версии A.
🎨 Пример
Сценарий из карточки: загрузить базовую Zero-WAM, подключить тензоры Robot-ICL + A через соответствующую интеграцию и подать восемь RGB-кадров с внешней камеры вместе с роботной демонстрацией. Видео-ICL и MCP-цель при этом сохраняются.
Подробнее
Бенчмарки closed-loop для этих снапшотов не измерялись.Обучение: 20 эпох по 330 шагов оптимизатора, 4 GPU, глобальный batch 64.
В репозитории — epoch-NNN/adapter.safetensors и adapter.json с шагом, числом параметров и checksum.
База pretrain — Zero-WAM на человеческих демонстрациях; fine-tuning RoboICL и demo input — на роботных данных.
Комментарии