PerceptronAI/Isaac-0.5-YAM
политика для двуручных роботов
1 мин чтения
Новая модель представляет собой дообученную версию Isaac 0.5 на двуручных демонстрациях YAM из xDoF ABC и MolmoAct2. Политика принимает на вход изображения с трёх RGB-камер, текстовую инструкцию и текущее состояние манипуляторов, после чего прогнозирует целевые значения суставов и захватов для обеих рук. Чекпоинт сохранён после 200 тысяч шагов файнтюна на 32 GPU. Модель предназначена для разработчиков и исследователей в области робототехники, работающих с библиотекой lerobot.
Ключевые особенности
- Дообучено на двуручных демонстрациях YAM (xDoF ABC и MolmoAct2).
- Анализирует три RGB-ракурса (общий вид и две камеры на запястьях).
- Прогнозирует абсолютные целевые значения суставов и грипперов для обеих рук.
- Выдаёт чанк действий размером 60 на 14 для каждого наблюдения.
Что можно сделать
- Запустить инференс политики на собственных или записанных наблюдениях с помощью Python.
- Дообучить модель на пользовательском датасете LeRobot с использованием двух GPU и CPU offload.
- Интегрировать модель в проекты по управлению роботехническими двуручными манипуляторами.
Пример
import json
from pathlib import Path
import torch
from lerobot.policies.factory import make_pre_post_processors
from lerobot.policies.perceptron_isaac import PerceptronIsaacPolicy
from torchvision.io import decode_image
snapshot = Path("./Isaac-0.5-YAM")
assets = snapshot / "assets"
sample = json.loads((assets / "sample_observation.json").read_text())
Подробнее
Берёт три RGB-камеры, состояние рук и задачуВыдаёт чанк действий 60 × 14
Обучение на 32 GPU, глобальный батч 256 последовательностей










Комментарии