Mercury007/mv-action-value-scan-object
оценка действий двурукого робота до их выполнения
2 min readupdated
Модель предсказывает ценность запланированного действия робота-манипулятора ещё до того, как он начнёт двигаться. На вход она получает данные с трёх камер (головной и двух на запястьях), текущее 16-мерное состояние робота и последовательность из 16 будущих шагов (chunk) для обеих рук, а на выходе выдаёт оценку полезности этого движения и ожидаемую награду. Архитектура MultiViewActionSVM (91,3 млн параметров) от автора Mercury007 обучена с нуля методом дистилляции знаний от модели-учителя Mercury007/mv-distill-scan-object, которая оценивает только состояния без учёта действий. В отличие от классических оценщиков, обученных лишь на бинарных метках успеха или провала в конце эпизода, эта модель прогнозирует изменение состояния на 16 кадров вперёд. Инструмент пригодится исследователям и разработчикам в области робототехники (Reinforcement Learning и имитационное обучение) для задачи сканирования объектов в симуляторе RoboTwin.
Ключевые особенности
- Мультиракурсный анализ: объединяет RGB-изображения, карты глубины (в мм), внутренние и внешние параметры сразу с трёх камер (голова, левое и правое запястье).
- Прогноз на 16 шагов вперёд: оценивает не просто текущую позу, а целый 16-шаговый отрезок траектории EEF (конечного эффектора) для обеих рук робота.
- Дистилляция от state-only учителя: обучалась предсказывать разницу между удержанием текущей позы и выполнением запланированного движения в единицах логитов учителя.
- Компактный размер: вес модели составляет 91,3 млн параметров в формате
safetensors, что позволяет быстро запускать инференс в цикле управления.
Что можно сделать
- Использовать в связке с политикой GAP на платформе RoboTwin (робот aloha-agilex) для предварительной оценки и фильтрации неудачных траекторий в задаче
scan_object. - Применять как плотную функцию награды (dense reward) при дообучении или планировании движений двурукого манипулятора без ожидания конца эпизода.
Пример
from svm import MVActionValue
value = MVActionValue.from_pretrained("Mercury007/mv-action-value-scan-object")
v = value.values(obs) # [B] V(s, a)
r = value.rewards(obs) # [B] V(s, a) - V(s, hold)
Подробнее
Метрики на отложенной выборке (эпоха 23 из 34): общий loss 1.286 (value MSE 0.156, progress MSE 1.131), static value AUC (разделение успеха и провала) — 0.915, корреляция предсказанного прогресса с оценкой учителя — 0.62.Обучение: с нуля в bf16 (AdamW 1e-4) на 1008 базовых эпизодах GAP (по 504 успешных и неудачных) и 908 ветках с добавлением шума по координатам xyz.
Ограничения: модель не тестировалась за пределами отложенной валидационной выборки и требует специфического формата входных данных из пакета
svm.









Comments