AgentRoboCritic-Muse-Glimmer-30B
критик действий роботов
2 мин чтенияобновлено
Модель оценивает, выполнило ли выполненное роботом действие заданное локальное намерение, опираясь на задачу, команду агента и визуальные наблюдения с разных камер. На выходе она возвращает структурированный JSON-ответ с вердиктом, категорией сбоя и пояснением на основе увиденного. Модель создана на базе meta-models/Muse-Glimmer-30B (размер 29.78 миллиарда параметров) методом LoRA (небольшой надстройки над базовой моделью) с последующим слиянием весов. Она пригодится исследователям и разработчикам в области робототехники и автономных агентов для анализа ошибок манипуляций.
Ключевые особенности
- Анализирует визуальные наблюдения и контекст задачи для оценки действий робота.
- Возвращает структурированный JSON с полями успешности и причиной сбоя.
- Обучена на 12 844 действиях из 12 бенчмарков манипуляций с разметкой GPT-6 Astra.
- Показывает точность, сопоставимую с крупными закрытыми моделями на тестовых наборах.
Что можно сделать
- Применить в пайплайнах оценки работы робототехнических агентов для автоматического поиска ошибок.
- Использовать для анализа неудачных захватов и классификации сбоев манипуляций.
- Протестировать качество суждений модели на собственных эпизодах робототехники.
Пример
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
checkpoint = "cx-cmu/AgentRoboCritic-Muse-Glimmer-30B"
processor = AutoProcessor.from_pretrained(checkpoint)
critic = AutoModelForImageTextToText.from_pretrained(
checkpoint, dtype=torch.bfloat16, device_map="auto"
).eval()Подробнее
Бенчмарки (тест на 400 действиях): общая точность 67.75%, точность исхода 76.25%, точность режима сбоя 74.24%Требования к железу: машина с достаточной памятью для запуска 30B модели в bfloat16
Обучение: LoRA (rank 32), 2 эпохи, батч 32, learning rate 5×10&sup5; с косинусным расписанием
Лицензия: Apache 2.0 (на базе Muse-Glimmer-30B со своей политикой использования)








Комментарии