trossen-bin-picking-act-cup-real
политика управления роботом для перекладывания стакана
2 мин чтенияобновлено
Компактная модель (50 млн параметров) от команды Kite на базе архитектуры ACT (Action Chunking with Transformers — алгоритм, предсказывающий сразу последовательность действий робота) для двурукой роботизированной станции WidowX AI. Она получает изображения с четырёх камер и текущие позиции 14 сочленений, а на выходе генерирует целевые координаты для всех 14 суставов сразу на 100 шагов вперёд. Политика обучена на реальных записях движения роботов из открытого датасета bin_picking от Trossen Robotics и превосходит аналоги, обученные только в симуляторе. Пригодится разработчикам в области робототехники и исследователям, работающим с фреймворком LeRobot.
Ключевые особенности
- Мультисенсорный вход: модель одновременно анализирует потоки с четырёх камер и текущее положение 14 приводов станции.
- Пакетное предсказание действий: за один проход нейросеть выдаёт траекторию движения сразу на 100 шагов вперёд для 14 суставов.
- Обучение на реальных данных: веса получены на 18 реальных записях перекладывания стакана (7 318 кадров) вместо синтетики.
- Узкая специализация: политика не принимает текстовых инструкций и настроена строго на захват красного стакана и перемещение его в прозрачный лоток.
Что можно сделать
- Запустить в симуляции: протестировать управление двурукой станцией WidowX AI при разном освещении и наличии посторонних предметов на столе.
- Сравнить подходы к обучению: использовать чекпоинт как базовый ориентир (baseline) при сравнении политик, обученных на реальных записях и на симулированных датасетах
trossen-bin-picking-sim. - Дообучить под свои задачи: взять веса как отправную точку в библиотеке LeRobot версии 0.6 и выше для экспериментов с манипуляцией объектами.
Пример
from lerobot.policies.act.modeling_act import ACTPolicy
policy = ACTPolicy.from_pretrained("kiteml/trossen-bin-picking-act-cup-real")
Подробнее
Результаты в симуляции: 33 успешных перекладывания из 80 (10/20 при обычном освещении, 8/20 при тусклом, 8/20 при тёплом и 7/20 с лишними предметами на столе), что выше лучшей симуляционной модели (26/80).Обучение: 30 000 шагов с размером батча 8 на одной видеокарте A100 заняло около 1 часа 50 минут.
Ограничения: модель проверена только в симуляторе (на реальном роботе не запускалась), справляется с захватом только левой рукой.
Лицензия: Apache-2.0.










Комментарии