lewam_jepa_pusht
политика для робототехники
1 мин чтенияобновлено
Новая модель представляет собой политику управления для роботов (robotics policy), обученную с помощью библиотеки LeRobot для задачи перемещения блоков. На вход модель принимает изображения с камер и состояние робота, а на выходе выдает управляющие действия. Модель обучена на демонстрационном датасете pusht и может запускаться для инференса на реальном железе. Решение пригодится исследователям и разработчикам, экспериментирующим с алгоритмами имитационного обучения (imitation learning) в робототехнике.
Ключевые особенности
- Обучена с использованием фреймворка LeRobot
- Специализируется на задаче толкания Т-образного блока
- Базируется на датасете с частотой 10 FPS
- Использует оптимизатор adamw
Что можно сделать
- Запустить политику на своем роботе с помощью CLI-утилит LeRobot
- Обучить собственную вариацию модели на аналогичном датасете
- Протестировать алгоритм имитационного обучения в задачах управления манипуляторами
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=unknown \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=ravediamond/lewam_jepa_pusht \
--task="Push the T-shaped block onto the T-shaped target." \
--duration=60Подробнее
Шагов обучения: 46163Размер батча: 64
Скорость обучения (learning rate): 0.0001
Датасет: lerobot/pusht (206 эпизодов, 25650 кадров)










Комментарии