WeaveMem YAM 10K
сервис инференса для робототехнических моделей
2 мин чтенияобновлено
Пакет содержит три нативные модели π₀.₅, обученные на робототехническом датасете YAM. Сервер принимает по WebSocket кадры с камер, состояние робота и инструкцию, а на выходе возвращает массив из 50 предсказанных действий для 14 степеней свободы. Решения основаны на инференс-параметрах Orbax и включают замороженный рантайм OpenPI, токенайзер и энкодер CD-LAM. Модель предназначена для исследователей и инженеров, занимающихся управлением роботами-манипуляторами.
Ключевые особенности
- Поддержка трех чекпоинтов с различными режимами синхронизации и асинхронности (sync, kv, async_lag5).
- Обработка данных с нескольких камер и 14-размерного состояния робота.
- Встроенный WebSocket-сервер для быстрой передачи команд и наблюдений.
- Использование энкодера CD-LAM для работы с историей движений.
Что можно сделать
- Развернуть сервер инференса на Linux с GPU NVIDIA и запустить управление роботом.
- Настроить клиент на Python для отправки телеметрии и получения массивов действий [50, 14].
- Интегрировать асинхронные режимы с лагом в 5 кадров для плавной работы в реальном времени.
Пример
from websockets.sync.client import connect
from openpi_client import msgpack_numpy
with connect("ws://127.0.0.1:8765", compression=None, max_size=None) as ws:
metadata = msgpack_numpy.unpackb(ws.recv())
packer = msgpack_numpy.Packer()
call = lambda msg: (ws.send(packer.pack(msg)), msgpack_numpy.unpackb(ws.recv()))[1]
call({"reset": True, "seed": 42})
Подробнее
Требования к железу: Linux x86-64, Python 3.11, GPU NVIDIA с поддержкой CUDA 12 (тестировалось на H100).Протокол связи: бинарный MessagePack через WebSocket.
Формат действий: левая рука (6 суставов + захват), правая рука (6 суставов + захват).










Комментарии