handoff
гибридный пайплайн захвата прозрачных объектов для робота Franka Panda
3 мин чтенияобновлено
Набор весов от пользователя skkyshine для выполнения задачи «перехвата» (hand-off relay) на реальном манипуляторе Franka Panda: робот должен взять прозрачный стакан и поставить его на жёлтый лист. Вместо того чтобы полагаться только на нейросеть на всём пути, система делит задачу на два этапа. Сначала модель предсказания точек подхода (на базе ансамблей conditional flow matching) по одному RGB-D кадру определяет, где должна оказаться клешня за 4–12 см до контакта с объектом. Туда манипулятор переводится обычным скриптом, а финальный контакт и манипуляцию берёт на себя дообученная end-to-end VLA-политика (Vision-Language-Action) pi0.5 с LoRA-адаптером (небольшой надстройкой над базовой моделью). Решение пригодится исследователям в области робототехники, работающим с прозрачными предметами и гибридным управлением.
Ключевые особенности
- Три варианта моделей подхода: по 52 МБ каждая, обучались под боковую камеру Intel RealSense D455 (рекомендуемая), фронтальную D435i или обе сразу.
- Ансамбли flow matching: каждая модель подхода состоит из 10 нейросетей на PyTorch (800 эпох), которые по облаку точек и силуэту объекта (найденным через Grounding DINO и SAM 2.1) строят 64 сэмпла и выбирают плотнейшую моду с минимальным поворотом запястья.
- Чекпоинт pi0.5 (6 ГБ): LoRA-файнтюн на обе башни Gemma (горизонт действий — 10 шагов), обученный на 2053 кадрах (10 телеуправляемых демонстраций).
- Точность предсказаний: медианная ошибка позиции за 4 см до контакта составляет 3.4 см (для камеры D455), а ошибка ориентации — от 1 до 5 градусов.
Что можно сделать
- Развернуть на стенде с Franka Panda: использовать весовые файлы в связке с репозиторием развёртывания
vla_panda_projectдля отработки захвата прозрачной посуды и перекладывания мелких предметов (в данных также есть степлер и маркер). - Сравнить конфигурацию камер: протестировать разницу между фронтальной и боковой камерами глубины при построении точек подхода по облаку точек.
- Использовать как базу для своих задач: адаптировать двухэтапную схему (скриптовый подвод по flow-matching + доводка через
pi0.5) под новые объекты на рабочем столе.
Пример
Для работы финальной политики pi0.5 (шаг 2999) на вход подаются обрезанный кадр с фронтальной камеры D435i, изображение с камеры на запястье, вектор состояния манипулятора [x y z qx qy qz qw width] и текстовый промпт: pick the transparent cup and put it completely on the yellow plane. На выходе модель генерирует чанк из 10 действий (дельты координат и вращения в базовой системе координат плюс команда закрытия схвата).
Подробнее
На обучающих кадрахpi0.5 предсказанный 1-секундный отрезок траектории заканчивается в 3.6 мм от записанного, а команда схвата совпадает в 99.7% шагов.Важное ограничение: ни одна из моделей ещё не запускалась на реальном роботе — все метрики получены на офлайн-данных.
Модели подхода привязаны к конкретному расположению камер из обучающих записей, а детектор работает только в области рабочего стола.
Код для запуска и сервер в репозитории отсутствуют; на веса
pi0.5 распространяются условия лицензии Gemma Terms of Use.









Комментарии