Task-Potential Relationship Graph Model (v2)
графовый оценщик действий для роботов
2 мин чтенияобновлено
Компактная нейросеть на 36,5 млн параметров от rigby-robotics, которая помогает управлять роботом в связке с внешней языковой моделью (LLM). Сама модель не генерирует команды: на каждом шаге внешняя LLM предлагает несколько числовых наборов целевых значений для приводов, а графовая сеть предсказывает эффект каждого варианта и выставляет оценку вероятности выполнения задачи. На выходе система выбирает команду с наивысшим баллом. В основе лежит графовая архитектура с поддержкой входов переменного размера, которая кодирует геометрию, скорости, сочленения и относительное положение объектов в пространстве SE(3). Пригодится разработчикам и исследователям в области робототехники и симуляций MuJoCo.
Ключевые особенности
- Компактный размер: 36 534 626 параметров, файл чекпоинта весит всего 139,4 MiB.
- Графовая архитектура: принимает переменное число тел и приводов, включает 4 блока графа состояний, 2 блока эффектов, 2 текстовых блока и 8 голов внимания при ширине 384.
- Работа в паре с LLM: оценивает готовые числовые пакеты управления от внешней модели по селектору
task_completion, а не использует фиксированное меню действий. - Обучение в MuJoCo: тренировалась на процедурно сгенерированных эпизодах захвата с удержанием, касания, толкания и перемещения для механизмов с 2, 3 или 4 радиальными конечностями.
Что можно сделать
- Собрать пайплайн управления в MuJoCo: подключить любую свою LLM для генерации числовых команд приводам и использовать чекпоинт для отбора лучшего шага в симуляторе.
- Тестировать задачи манипуляции: проверять сценарии подъёма и удержания объектов, толкания или перемещения на кастомных симуляционных адаптерах.
Пример
import torch
from inference import load_model, score_control_candidates
model, metadata = load_model("task-potential-best.pt", device="cuda")
result = score_control_candidates(
model, batch, llm_candidates, selector="task_completion"
)
selected_package = result["control"]
selected_score = result["score"][result["index"]]
Подробнее
Проверка в симуляции на двух сидах для задачи подъёма: в одном случае достигнут подъём на 8,086 см с успешным удержанием в течение 1 секунды, во втором — подъём на 8,313 см до таймаута провайдера LLM.Ограничения: модель оценивает только один шаг вперёд, требует написания адаптера под конкретный симулятор/робота и не проверена на физическом оборудовании.
Лицензия на повторное использование в репозитории не предоставлена; встроенную экспериментальную голову
propose_controls() использовать не рекомендуется.









Комментарии