act_contaminado_v3
политика управления роботом для сортировки объектов
2 мин чтения
Эта модель представляет собой политику управления манипулятором на базе метода ACT (Action Chunking with Transformers — подход имитационного обучения, предсказывающий короткие последовательности действий вместо отдельных шагов). Она обучена с помощью фреймворка LeRobot на датасете из 96 эпизодов и предназначена для автономной сортировки кубов, отправки отходов в дезинфекцию и выполнения кинематической проверки погружения. Модель создана для роботов типа so_follower и помогает автоматизировать задачи сортировки на физических манипуляторах.
Ключевые особенности
- Архитектура ACT: прогнозирует цепочки действий для плавного и точного управления роботом.
- Двойной обзор с камер: использует верхнюю камеру и камеру на роботе для визуального контроля (входное разрешение 640x480).
- Обучение на NVIDIA A100: модель прошла 24 000 шагов обучения с оптимизатором AdamW и аугментацией изображений.
- Интеграция с экосистемой LeRobot: полная совместимость с инструментами библиотеки для развертывания и инференса.
Что можно сделать
- Запустить на роботе: применить политику для автономного выполнения задач сортировки и карантина объектов с помощью скрипта rollout.
- Использовать датасет: изучить обучающие данные `coalva94/bilbao_triage_contaminado_v3` для анализа траекторий движений манипулятора.
- Дообучить модель: использовать конфигурацию обучения для кастомизации под собственные задачи робототехники.
Пример
Запуск политики управления роботом в автономном режиме через консоль:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=coalva94/act_contaminado_v3 \
--task="b15_rojo_ultimo_1R_solo" \
--duration=60Подробнее
Финальная потеря (loss): 0.099 (l1_loss: 0.097) после 24K шагов обучения.Размерность входов: состояние (6,), изображения с камер (3, 480, 640). Выход: действия (6,).
Обучающие данные: 96 эпизодов, 49 534 фрейма при 30 FPS.










Комментарии