Cosmos3 Edge
SO-101 soarm_v4 — LoRA для захвата пробирки
1 min readupdated
Это LoRA-адаптер к nvidia/Cosmos3-Edge для робота SO-101. Он обучен на 100 демонстрациях (39 280 кадров при 30 FPS) брать пробирку и класть её в коробку. В репозитории лежат адаптер, обученные action-модули, статистика нормализации, процессоры и токенизатор; для загрузки нужна базовая модель.
Ключевые особенности
- Политика LeRobot
cosmos3_edgeв режиме WAM с PEFT-aware загрузкой. - Управление по 6 суставам: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper.
- Две камеры:
observation.images.frontиobservation.images.wrist; RGB 848×480, на входе 256×256 на вид. - Action chunk из 16 шагов на 30 Hz; углы суставов в градусах, gripper 0–100.
- Чекпойнт шага 20 000; инференс по умолчанию в bfloat16 с 10 шагами денойзинга.
Пример
Задача для политики: Grab the test tube into the box. Подайте изображения с фронтальной и wrist-камеры, состояние в указанном порядке суставов и калибровку, соответствующую сбору данных. На выходе — 16 действий с частотой 30 Hz.
Подробнее
Чекпойнт: шаг 20 000. Исходное обучение записывало 30 шагов инференса, экспорт использует 10 без изменения весов.Нужен доступ к
nvidia/Cosmos3-Edge на его условиях; отдельно базовые веса не загружаются.Систематических замеров успеха на реальном роботе нет; скорость зависит от железа.










Comments