SO-101 π0.5
полнопараметрический файнтюн VLA-модели для роборуки
2 min read
Модель so101-pi05-full-ft-001 от автора est4ever — это адаптация архитектуры π0.5 для управления 6-осевым манипулятором SO-101 в экосистеме LeRobot. По картинке с двух RGB-камер, текущему положению суставов и текстовой инструкции модель предсказывает траекторию движений на 50 шагов вперёд. В основе лежит базовый чекпоинт lerobot/pi05_base (4.14B параметров, токенизатор Google PaliGemma), который прошёл полный файнтюн (дообучение всех весов без LoRA) на шести датасетах с демонстрациями захвата и перемещения предметов. Релиз подойдёт исследователям и разработчикам робототехники для лабораторных экспериментов с SO-101.
Ключевые особенности
- Полный файнтюн всех весов: обучено 4.14B параметров методом flow-matching (генерация траекторий через предсказание поля скоростей) на 205 эпизодах и 106 942 кадрах без заморозки слоёв.
- Мультимодальный вход: принимает два изображения 224×224 (обзорная камера и камера на левом запястье), 6 каналов состояния суставов и текстовую команду до 200 токенов.
- Предсказание последовательности действий: возвращает матрицу
[1, 50, 6]для шести степеней свободы (shoulder_pan,shoulder_lift,elbow_flex,wrist_flex,wrist_rollиgripper) с частотой 30 Гц. - Готовый пакет для инференса: репозиторий включает строгий загрузчик весов
runtime.py, серверserve.pyи профили нормализации под каждый из шести наборов данных.
Что можно сделать
- Запустить в лаборатории на SO-101: развернуть сервер на GPU-машине и подключить клиент с ноутбука для отработки задач захвата и перекладывания блоков и фруктов (blue_block_in, blue-block-out-bin, limegreen-pickup, orange).
- Использовать как базу для экспериментов в LeRobot: сравнить поведение полнопараметрического файнтюна π0.5 с базовой моделью или собственными чекпоинтами на фиксированных сплитах
splits.json.
Пример
hf download est4ever/so101-pi05-full-ft-001 --local-dir ./so101-pi05-full-ft-001
cd so101-pi05-full-ft-001
OMP_NUM_THREADS=8 TOKENIZERS_PARALLELISM=false python serve.py --port 8765Подробнее
Обучение: 3 000 шагов AdamW (lr 2.5e-5, эффективный батч 8, точность FP32/BF16) на 1× NVIDIA A100 80 GB заняло 3 ч 58 мин.Оценка: физические тесты на реальном роботе и отдельные офлайн-бенчмарки не проводились.
Ограничения: профили нормализации q01/q99 нужно указывать вручную для каждого датасета; единицы калибровки моторов и расположение камер требуют проверки перед запуском.
Лицензия: производные веса подчиняются условиям Gemma Terms of Use.










Comments