π0.5

Полный файнтюн π0.5 на 220 демонстрациях: манипулятор SO-101 переносит флакон из заданного слота в другой слот или в контейнер по текстовому промпту. Базовая модель — lerobot/pi05_base, около 4,14 млрд параметров. Это исследовательский checkpoint, а не продукт: задачу он выполняет нестабильно.

⚙ Ключевые особенности

• 🧬 Обучение продолжено с модели на 100 демонстрациях, всего 16 000 шагов при batch size 16.
• 🌐 На входе пять камер 640×480, шесть положений суставов и текстовый промпт.
• 🎯 На выходе шесть целевых положений суставов чанками по 50 шагов; запуск с n_action_steps=15.
• 🧩 В данных 220 демонстраций и 113 010 кадров; часть записей специально отделяет пункт назначения от раскладки.
• 🛑 Слоты 2 и 5 намеренно не встречаются в обучающих промптах.

💡 Пример

Промпты из обучения: Move the vial from position 3 of the right rack to slot 6 of the left rack. и Move the vial from position 4 of the left rack to the bin. Стороны считаются от follower-руки.

Подробнее

На 24 тестовых прогонах нужный флакон захвачен 18 раз, отпущен в заданном слоте — 7 раз.
В отдельном тесте 31 движение: 11 флаконов в нужном слоте против 21 у модели from-base.
Пункт назначения тянет к середине стойки: слот 3 часто попадает в 2, слот 6 — в 3 или 5.
Семь ошибок были на захвате, чаще всего из слота 6; автор советует вариант vial-sort-pi05-ws220-a-16000.
Обучение: A100 80 GB, 21,5 часа, 37,8 GiB; лицензия Gemma.