SmolVLA on PiperX (AdamW)
чекпоинты управления роботом-манипулятором
2 мин чтенияобновлено
Референсный файнтюн модели SmolVLA (компактной VLA-модели, связывающей зрение, язык и действия) на базе фреймворка LeRobot для управления роботом-манипулятором PiperX. Автор xzz789 (эксперимент HKU job 298139) обучил эксперт действий (action expert) на 99 демонстрациях и выложил полный архив из 25 промежуточных чекпоинтов с шага 0 по 24 000. В отличие от обычных релизов, здесь сохранены не только финальные веса, но и состояния оптимизатора AdamW вместе с подробными метриками оценки на каждом этапе. Модель пригодится разработчикам и исследователям в области робототехники для работы с платформой PiperX или анализа сходимости обучения.
Ключевые особенности
- 25 последовательных чекпоинтов (с 0 по 24 000 шаг с интервалом в 1 000 шагов), позволяющих отследить динамику обучения.
- Полный комплект артефактов для каждого шага: веса модели, файлы процессора, состояние оптимизатора и сводки оценки.
- Точное снижение средней абсолютной ошибки (Action MAE) с 18.239° на старте до 0.243° на 24 000 шаге.
- Готовый файл
piperx_eval.jsonс полными записями открытой оценки (open-loop) по всем сохранениям.
Что можно сделать
- Использовать финальные чекпоинты (22k–24k шагов) в среде LeRobot для управления манипулятором PiperX или в качестве базовой точки для дальнейшего дообучения.
- Сравнивать свои оптимизаторы и гиперпараметры с референсной кривой сходимости AdamW на тех же демонстрациях.
- Продолжить обучение с любого промежуточного шага благодаря сохранённым состояниям оптимизатора (optimizer state).
Пример
В карточке приведён сценарий оценки на 2 048 сэмплированных кадрах из обучающей выборки (evaluation seed 10 000): при пороге в 5% от финальной ошибки приемлемая точность достигается уже на 22 000 шаге (Action MAE снижается до 0.254°), а последние 2 000 шагов улучшают показатель ещё на 0.011° — до 0.243°.
Подробнее
Обучение: 24 000 шагов на 99 демонстрациях PiperX (global batch 256, seed 42, оптимизатор AdamW).Метрики на шаге 24 000: Eval loss — 0.00548, Action MAE — 0.243°, MAE первых 10 действий — 0.230°.
Ограничения: метрики отражают качество имитации (imitation fit) при open-loop оценке на кадрах из обучающего набора.










Комментарии