dp-cupbasket-visual-8k

Это LeRobot diffusion policy из форка ROBOTIS lerobot-cyclo на 288M параметров. Робот должен левой рукой взять синюю чашку, передать её в правую и поставить на корзину. Обучение шло на ROBOTIS FFW SG2 с CAD-грипперами и калиброванными wrist-камерами.

👀 Ключевые особенности

• 💪 Вход: камеры head + left wrist + right wrist по 240×240 и 22-мерный joint state; выход — 16 joint targets на 15 Гц.
• 👀 Обучение на ~8.6k демонстраций: ~6.6k успехов wide-placement и 2k демонстраций narrower ablation.
• 🐾 Используется visual DR: рандомизация фона, цвета чашки, света и других визуальных условий.
• 🔥 Тяжёлые аугментации изображений: brightness, contrast, saturation, hue, sharpness, affine, perspective, blur, random erasing, grayscale.
• 🥳 В корне репозитория лежит чекпоинт step 100k, рядом — промежуточные step-10000…step-90000 каждые 10k шагов.

🤫 Пример

policy = DiffusionPolicy.from_pretrained('padiredd/dp-cupbasket-visual-8k')

Подробнее

Обучение: 100k шагов, batch 32, ResNet18 на каждую камеру, Adam 1e-4, cosine, DDPM 100 шагов, horizon 64 / 32 executed, n_obs_steps 1.
Железо: одна RTX 4090 24 GB, делилась с dp-cupbasket-visual-wide-500 (~4.9 шага/с на каждую).
Ограничение: результаты оценки пока не добавлены; state noise не использовался.
Данные: успешные демонстрации, ~6.6k wide + 2k narrower ablation.