1⃣ bimanual-widowxai-pick-dishes-into-tray-pi05
уборка посуды в поднос для двурукого робота
2 min readupdated
Модель-политика для управления стационарным двуруким роботом-манипулятором Trossen AI (WidowX AI): она принимает видеопоток с четырёх камер, текущее состояние сочленений и текстовую команду, а на выходе выдаёт последовательность действий для перекладывания посуды в поднос. В основе лежит архитектура π₀.₅ (связка визуально-языковой модели PaliGemma gemma_2b и эксперта действий gemma_300m на базе flow matching), обученная авторами из TrossenRoboticsCommunity с помощью LoRA (небольшой надстройки над базовой моделью), но опубликованная уже в виде полностью объединённых весов (4.14B параметров, 8.29 GB). Главное отличие от родственных релизов коллекции — работа в относительных координатах (relative actions) сразу по всем 14 степеням свободы, включая сами захваты (грипперы). Подойдёт исследователям робототехники и инженерам, работающим со стеком LeRobot.
Ключевые особенности
- Полностью относительные действия: преобразования в относительные и обратно в абсолютные координаты по всем 14 осям (включая захваты) вшиты прямо в пайплайн пре- и постпроцессинга.
- Мультикамерное зрение: политике требуются строго 4 камеры в заданном порядке (
cam_low,cam_high,cam_left_wrist,cam_right_wrist) с входным разрешением 224×224. - Готовый объединённый чекпоинт: несмотря на обучение через LoRA (r=32, α=32), файл
model.safetensorsсодержит слитую модель целиком — скачивать отдельно базу не нужно. - Обучение на малом датасете: модель дообучена всего на 40 эпизодах (самая компактная по объёму данных рабочая модель в серии) до 38 000 шагов.
Что можно сделать
- Запустить автономное перекладывание посуды в поднос на стационарной установке Trossen AI bimanual с четырьмя камерами через фреймворк LeRobot.
- Использовать веса как отправную точку или референс при настройке пайплайнов с полностью относительными действиями (без исключения захватов) для 14-DoF манипуляторов.
Пример
from lerobot.policies.pi05.modeling_pi05 import PI05Policy
policy = PI05Policy.from_pretrained(
"TrossenRoboticsCommunity/bimanual-widowxai-pick-dishes-into-tray-pi05"
)
Подробнее
Обучение: 38 000 шагов на GPU H200 в Trossen Cloud (29.3 часа), финальный loss — 0.004126, датасет из 40 эпизодов закрыт.Формат и объём: 4.14B параметров,
bfloat16, файл model.safetensors весит 8.29 GB; на инференсе используется 10 шагов и горизонт 50 действий (chunk_size).Ограничения: чувствительна к точной формулировке промпта (
pick up the dishes and place into the tray), строгому порядку 4 камер и геометрии сцены; формальный подсчёт процента успеха в таблице ещё не заполнен.









Comments