flexnsense_act_skill1
политика управления роборукой на базе ACT
2 min readupdated
Компактная модель для робототехники на 50M параметров, обученная управлять роботом-манипулятором NormaCore ElRobot (7 степеней свободы плюс захват на сервоприводах Feetech ST3215). Политика построена на архитектуре ACT (Action Chunking with Transformers — предсказание последовательности действий трансформером) в библиотеке LeRobot 0.7.1. Модель решает узкую прикладную задачу: переносит устройство с правого указательного пальца на правый средний палец. Пригодится разработчикам и исследователям, работающим с манипуляторами на базе LeRobot и платформы NormaCore.
Ключевые особенности
- Мультикамерное восприятие: принимает сразу три RGB-потока разрешением 224×224 (вид сбоку, камера на захвате и обзор на уровне стола) вместе с текущими нормализованными координатами 8 моторов.
- Предсказание фрагментами: генерирует последовательность из 30 шагов (
chunk_size), из которых исполняются первые 15 (n_action_steps), что соответствует 1,5 секунды движения при частоте 10 Гц. - Готовая нормализация: все статистики для препроцессинга и постобработки уже вшиты в файлы процессора внутри репозитория.
- Требует сортировки камер: NormaCore Station не подписывает потоки в очереди
inference/normvlaи может менять их порядок при перезапуске, поэтому перед подачей в модель ракурсы нужно определять по содержимому кадра.
Что можно сделать
- Запустить модель на совместимом манипуляторе NormaCore ElRobot с 8 сервоприводами Feetech ST3215, переведя выходные значения
goal_normв тики моторов по калибровочному диапазону. - Использовать чекпоинт как отправную точку для дообучения под похожие задачи точной манипуляции с участием нескольких камер в среде LeRobot.
Пример
from lerobot.policies.act.modeling_act import ACTPolicy
from lerobot.policies.factory import make_pre_post_processors
repo = "JustoDario/flexnsense_act_skill1_rightindex2middle"
policy = ACTPolicy.from_pretrained(repo)
pre, post = make_pre_post_processors(policy.config, pretrained_path=repo)
Подробнее
Обучение: 30 000 шагов с batch size 32 на датасете JustoDario/flexnsense_skill1_lerobot (43 эпизода телеуправления, 8465 кадров, 10 Гц).Формат данных: вход
observation.state (8,) и выход action (8,) нормализованы в диапазон [0, 1].Ограничения: на момент публикации модель не проходила проверку на реальном физическом роботе.










Comments