ACT v2 (duplo-act-v2)
модель для захвата кубиков Duplo манипулятором SO-101
2 мин чтенияобновлено
Модель представляет собой политику управления роботом на базе архитектуры ACT (Action Chunking Transformer — трансформер, предсказывающий сразу последовательность будущих действий). Она обучена брать кубик Duplo из миски и подносить его к инспекционной камере для проверки. Решение создано автором IaroslavBashko на хакатоне Junction 2026 в рамках челленджа Intel Physical AI и экспортировано в формат OpenVINO IR для быстрого локального запуска. В отличие от универсальных моделей, эта версия строго заточена под конкретную аппаратную сборку с тремя камерами и манипулятором SO-101. Пригодится разработчикам в сфере робототехники, которые работают со стендами Intel Physical AI Studio.
Ключевые особенности
- Компактный размер: около 34M параметров (137 МБ в точности FP32) в файлах
act.xmlиact.bin. - Мультимодальный вход: принимает текущие углы 6 суставов робота и RGB-потоки сразу с трёх камер (
top,wrist,inspect). - Генерация траектории наперёд: за один проход выдаёт 100 шагов целевых позиций для 6 приводов, чего хватает на 3.3 секунды работы при частоте 30 Гц.
- Высокая скорость инференса: расчёт одного плана на 100 шагов занимает всего 12 мс на встроенной графике ноутбука с Intel Core Ultra X9 388H.
Что можно сделать
- Встроить в ячейку визуального контроля (Duplo Inspection Cell) для автоматической подачи деталей под инспекционную камеру.
- Использовать как готовый референс и шаблон для запуска политик из Intel Physical AI Studio через библиотеку
physicalai.inferenceна CPU или встроенном GPU.
Пример
from physicalai.inference import InferenceModel
model = InferenceModel("openvino", device="GPU") # или "CPU"
chunk = model.predict_action_chunk({
"state": state, "images.top": top,
"images.wrist": wrist, "images.inspect": inspect
})Подробнее
Обучение: 154 эпизода телеуправления (51 999 кадров, 30 fps), 10 эпох с батчем 64 на GPU Modal A10G (2 ч 22 мин); финальный loss — 0.134 (train) и 0.324 (validation).Тесты на реальном роботе: 4 из 4 успешных захватов, каждый цикл занимал от 9.9 до 12.0 секунд.
Ограничения: работает только в идентичной конфигурации с таким же расположением камер, мисок и калибровкой SO-101.










Комментарии