SutureBot ACT
политика для автономного наложения хирургических швов
2 мин чтенияобновлено
Это чекпоинт Action Chunking Transformer (ACT) для хирургического робота: по трём кадрам эндоскопа и запястий он предсказывает движения двух манипуляторов на 60 шагов вперёд с частотой 30 Гц. Модель обучена авторами SutureBot для туториала CoRL 2026 и умеет три задачи: захват иглы, бросок иглы и завязывание узла. В основе — EfficientNet-B3 с FiLM-условиями для изображений и DistilBERT-эмбеддинги названия задачи; всего 122,7 млн параметров. Это не универсальный робот, а учебный чекпоинт для воспроизведения пайплайна SutureBot и экспериментов с ACT.
Ключевые особенности
- Мультизадачность: одна политика для needle pickup, needle throw и knot tying.
- На входе — три RGB-изображения 480×360, название задачи и нулевое состояние робота.
- На выходе — 60-шаговый чанк действий: изменение позиции, первые два столбца матрицы поворота и угол челюсти.
- В комплекте — нормализация каналов и предсказания для клипов Open-H 1441–1451.
- Файл содержит только
model_state_dictи epoch; оптимизатор удалён, предсказания те же.
Что можно сделать
- Прогнать Segment 3 notebook и загрузить
dot_best_6311.ckptбез изменений. - Подключить обёртку
act_policy.pyиз Segment 4, чтобы получать 16-D позы (xyz + кватернион + jaw). - Сравнить open-loop предсказания с GR00T-H на клипах Open-H и разобрать ошибки по осям.
- Использовать чекпоинт как базу для собственных экспериментов с ACT в хирургической роботике.
Пример
В карточке нет отдельного кода запуска: авторы предлагают готовый Segment 3 notebook, который загружает dot_best_6311.ckpt без изменений. Для серверного сценария используйте notebooks/segment4/server/act_policy.py — обёртка возвращает 16-D позы в формате xyz + quaternion xyzw + jaw, как у GR00T-H. На вход подаются три кадра 480×360, имя задачи и нулевой вектор состояния робота; на выходе — чанк из 60 действий на 30 Гц.
Подробнее
Open-loop xyz MAE на клипах 1441–1451: 1,26–2,03 мм; jaw MAE: 0,048–0,176 рад.Needle throw обучен с goal dots, но в Open-H их нет — результаты на 1441–1444 только диагностические.
Training split не записан, возможны пересечения с тестом; это демонстрация, не бенчмарк.
Это офлайн-сравнения действий, а не физические результаты шитья.
Лицензия не указана: публикация разрешена авторами SutureBot для туториала CoRL 2026.










Комментарии