К содержимому
Компьютерное зрение

AgentRoboCritic-Muse-Glimmer-30B

критик действий роботов

2 мин чтенияобновлено

Модель оценивает, выполнило ли выполненное роботом действие заданное локальное намерение, опираясь на задачу, команду агента и визуальные наблюдения с разных камер. На выходе она возвращает структурированный JSON-ответ с вердиктом, категорией сбоя и пояснением на основе увиденного. Модель создана на базе meta-models/Muse-Glimmer-30B (размер 29.78 миллиарда параметров) методом LoRA (небольшой надстройки над базовой моделью) с последующим слиянием весов. Она пригодится исследователям и разработчикам в области робототехники и автономных агентов для анализа ошибок манипуляций.

Ключевые особенности

  • Анализирует визуальные наблюдения и контекст задачи для оценки действий робота.
  • Возвращает структурированный JSON с полями успешности и причиной сбоя.
  • Обучена на 12 844 действиях из 12 бенчмарков манипуляций с разметкой GPT-6 Astra.
  • Показывает точность, сопоставимую с крупными закрытыми моделями на тестовых наборах.

Что можно сделать

  • Применить в пайплайнах оценки работы робототехнических агентов для автоматического поиска ошибок.
  • Использовать для анализа неудачных захватов и классификации сбоев манипуляций.
  • Протестировать качество суждений модели на собственных эпизодах робототехники.

Пример

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

checkpoint = "cx-cmu/AgentRoboCritic-Muse-Glimmer-30B"
processor = AutoProcessor.from_pretrained(checkpoint)
critic = AutoModelForImageTextToText.from_pretrained(
    checkpoint, dtype=torch.bfloat16, device_map="auto"
).eval()
ПодробнееБенчмарки (тест на 400 действиях): общая точность 67.75%, точность исхода 76.25%, точность режима сбоя 74.24%
Требования к железу: машина с достаточной памятью для запуска 30B модели в bfloat16
Обучение: LoRA (rank 32), 2 эпохи, батч 32, learning rate 5×10&sup5; с косинусным расписанием
Лицензия: Apache 2.0 (на базе Muse-Glimmer-30B со своей политикой использования)
Обсудить Telegram 0 13

Запустится ли?

Запустится в 4-bit

Полная точность не влезет, но сжатая версия поместится — качество почти не страдает до 8 бит, заметнее на 4 битах.

  • BF16веса 55 GB · готовые файлы62 GB
  • FP8 / INT8рекомендуемвеса 28 GB31 GB
  • 4-bitвеса 16 GB18 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # cx-cmu/AgentRoboCritic-Muse-Glimmer-30B
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download cx-cmu/AgentRoboCritic-Muse-Glimmer-30B --local-dir ~/models/AgentRoboCritic-Muse-Glimmer-30B
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к AgentRoboCritic-Muse-Glimmer-30B
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

meta-models/Muse-Glimmer-30B

Новые посты про версии Muse-Glimmer-30B — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 1Все на Hugging Face
Слияния 1Все на Hugging Face

О модели

cx-cmu/AgentRoboCritic-Muse-Glimmer-30B
Автор
cx-cmu
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

130

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии