dp-blockpick-cap2k-visual-dr

Это LeRobot Diffusion Policy (форк ROBOTIS lerobot-cyclo, 288 млн параметров) для верхнего захвата блока левой рукой ROBOTIS FFW SG2 с калиброванными камерами на запястьях. Модель обучена на 2 000 успешных симуляционных демонстрациях с визуальной рандомизацией.

✨ Ключевые особенности

• 🦾 Входы: камеры head + левое и правое запястье по 240×240, плюс 22-мерное состояние суставов; выход — 16 целевых положений суставов на 15 Гц.
• ✨ Обучение: 100k шагов, batch 32, ResNet18 на каждую камеру, Adam 1e-4, cosine, DDPM 100 шагов, horizon 64 / 32 исполняемых.
• 🔥 Сильные аугментации изображений: яркость, контраст, насыщенность, hue, резкость, аффинные и перспективные искажения, blur, random erasing, grayscale.
• ✅ Только визуальная рандомизация: вид стола, фон, цвет блока и свет; позы и параметры движения совпадают с физической ветвью ablation.
• ⬇ Чекпоинты каждые 10k шагов; в корне репозитория лежит step 100k.

💥 Пример

policy = DiffusionPolicy.from_pretrained(
    'padiredd/dp-blockpick-cap2k-visual-dr'
)

Task string: pick up the lime green block with the left arm.

Подробнее

Бенчмарков в карточке нет: результаты оценки ещё не добавлены.
Обучение шло на одном RTX 4090 24 GB, который делили две ablation-ветки, примерно по 4.9 шага/с на каждую.
Данные pick-cube-cap2k-visual-dr-yaw45-3cam не выложены на Hugging Face.
Модель заточена под конкретного робота и сценарий, а не под общее применение.