pi05-icl3000-demo
управление роботом по видеодемонстрации
2 min readupdated
Чекпоинт для робототехнических систем, который обучает манипулятор повторять действия на основе одного демонстрационного видео сверху без текстового описания задачи и без записи координат движений из примера. Модель построена на базе pi05_base от OpenPI с добавлением новых Demo-модулей и LoRA-адаптеров (небольших обучаемых надстроек над замороженными слоями). На вход подаются демонстрационный ролик (5 Гц), текущий кадр камеры и текущее состояние кисти (world-hand10), а на выходе система генерирует 50 команд управления с частотой 50 Гц. Решение пригодится исследователям и разработчикам в области робототехники (in-context learning для манипуляторов).
Ключевые особенности
- Работает только по визуальному примеру (RGB-видео сверху) и текущему состоянию кисти — текстовый промпт и траектория действий из демо не нужны.
- Основана на
pi05_base: веса SigLIP и основного трансформера заморожены, через LoRA дообучены проекции внимания и MLP, а также новые Demo-модули и проекции действий. - Генерирует последовательность из 50 команд формата
hand10на частоте 50 Гц для плавного выполнения задачи. - Сохраняет дискретные токены состояния
pi05и нормализациюadaRMSNormс привязкой ко времени.
Что можно сделать
- Протестировать визуальное обучение с подкреплением из контекста (in-context learning) на задачах манипуляции кистью
hand10в рамках датасета RoboICL3000. - Использовать как отправную точку для экспериментов с имитационным обучением роботов без разметки траекторий в демонстрационных роликах.
Пример
Сценарий работы из карточки: на вход подаётся независимое RGB-видео демонстрации (частота 5 Гц), текущий кадр камеры сверху и измеренное состояние world-hand10; модель без текстовых инструкций выдаёт 50 управляющих команд hand10 (частота 50 Гц).
Подробнее
Обучение: датасет RoboICL3000 (разбиение A+B), 1 полная эпоха (epoch-001, 1205 шагов оптимизатора).В комплекте: веса LoRA и обучаемых модулей, токенизатор, конфиги нормализации и инференса, слепок исходного кода.
Ограничения: для запуска требуется оригинальная базовая модель
pi05_base; метрики успешности выполнения задач в карточке не приведены.









Comments