Flex'N Sense
RL-политики для роборуки в симуляторе Isaac Lab
3 min readupdated
Команда Flex'N Sense опубликовала две политики обучения с подкреплением (reinforcement learning — метод, где агент учится методом проб и ошибок через систему наград), созданные на хакатоне Leukerbad Robotics Hackathon в ноябре 2026 года. Модели управляют симулированной роборукой NormaCore ElRobot и решают две задачи: удерживать пружинный динамометр с уступкой при превышении усилия в 1,96 Н и перевешивать его петлю с одного пальца на другой. Обучение проходило в среде NVIDIA Isaac Sim 6.2 и Isaac Lab с помощью алгоритма PPO из библиотеки rsl_rl. В отличие от моделей, обученных на записях реальных роботов, эти политики тренировались исключительно в параллельной симуляции на 4 096 виртуальных манипуляторах. Релиз пригодится разработчикам и исследователям робототехники как готовый референс задач манипуляции и симуляционных сред.
Ключевые особенности
- Две отдельные политики под разные сценарии:
pull_v1(удержание и податливость при натяжении) иmove_v1(захват, перенос и надевание петли на соседний палец). - Готовые форматы для инференса и дообучения: в каждой папке лежат
policy.onnx,policy.pt(TorchScript),checkpoint.pt, настройкиparams/и метрикиsummary.json. - В комплекте репозитория также доступны исходные задачи и скрипты для Isaac Lab (
code/) и видеозаписи процесса обучения от 1 до 1 024 манипуляторов (media/). - Строго симуляционная демонстрация: политики не запускались на реальном железе и не предназначены для управления роботами рядом с людьми.
Что можно сделать
- Запустить готовые ONNX- или TorchScript-веса в NVIDIA Isaac Sim 6.2 / Isaac Lab для воспроизведения сценариев силового удержания и перехвата объектов.
- Использовать чекпоинты
checkpoint.ptи конфигурации изparams/как базу для дообучения под собственные параметры сервоприводов или новые правила наград. - Изучить скрипты из папки
code/в качестве шаблона для настройки параллельного обучения (4 096 сред) на базе URDF-модели NormaCore ElRobot.
Пример
Вход и выход политик в симуляции:
• pull_v1 принимает вектор из 29 чисел (углы и скорости суставов, расстояния до целей, текущее и предыдущее значение силы, смещение схвата и прошлое действие) и выдаёт 5 чисел — поправки к целевым позициям моторов 1, 2, 3, 4 и 6.
• move_v1 принимает 44 числа (состояние суставов, положение и ориентация схвата, координаты точки захвата, петли и целевого пальца, флаги удержания) и возвращает 6 чисел — команды для тех же пяти моторов плюс открытие/закрытие захвата.
Подробнее
Замеры на 1 024 симулируемых манипуляторах: дляpull_v1 средняя пиковая сила составила 1,60 Н (против 3,61 Н при неподвижной руке), а превышение порога 1,96 Н более чем на 10 % произошло лишь в 1,1 % случаев (против 85 %).Политика
move_v1 надевает петлю в пределах 8 мм от целевого пальца в 100 % попыток без падений и столкновений (0 % / 0 %) со средним временем 0,40 с на полной скорости моторов.Обучение проводилось на одной видеокарте NVIDIA RTX PRO 6000 (4 096 параллельных сред): 7,7 минуты (59 млн шагов) для Pull и около 80 минут (470 млн шагов) для Move.
В симуляции приняты расчётные параметры жёсткости и демпфирования сервоприводов (40 Н·м/рад и 2 Н·м·с/рад), а также зашумлённое считывание силы и точные координаты объектов.










Comments