К содержимому
Другое

Cosmos3-Edge-Policy-DROID Failure-Prevention

LoRA-файнтюн для управления роботами

2 мин чтенияобновлено

Это дообученная версия модели nvidia/Cosmos3-Edge-Policy-DROID (3.86B параметров), которая предсказывает последовательности движений робота-манипулятора на 32 шага вперёд по видеопотоку 15 fps. Модель адаптирована с помощью LoRA (небольшой надстройки над базовыми весами, уже вшитой в итоговый чекпоинт) для предотвращения ошибок при манипуляции предметами в среде RoboLab. В отличие от оригинальной базы, эта версия обучена на демонстрациях исправления сбоев в шести задачах: сортировке игрушек, консервов, красных предметов, картонных коробок, бутылок и складывании объектов в стопку. Пригодится исследователям и разработчикам в области робототехники, работающим с платформой DROID и симулятором RoboLab.

Ключевые особенности

  • Вшитые веса LoRA: адаптер с рангом 32 и alpha 64 уже объединён с базовой моделью, поэтому для запуска не требуется отдельная загрузка через PEFT.
  • Фокус на предотвращении ошибок: обучение прошло на 150 успешных демонстрациях (92 009 стартовых позиций) из датасета cosmos3-edge-failure-prevention-200 с исключением задач со сверлом и ложками.
  • Совместимость с инфраструктурой базы: сохранена оригинальная структура чекпоинта (домен droid_lerobot), при инференсе используется VAE от Wan-AI/Wan.2-TI2V-5B.

Что можно сделать

  • Запустить сервер политик в RoboLab: развернуть модель как локальный сервис управления манипулятором для проверки выполнения команд по сортировке и укладке предметов.
  • Сравнить поведение на исключённых задачах: протестировать в симуляторе, как исключение двух сценариев из обучающей выборки влияет на точность предсказания движений и генерализацию.

Пример

python -m cosmos_framework.scripts.action_policy_server_robolab \
  --checkpoint-path  \
  --port 8000 --format-prompt-as-json True --guidance-interval 960 1001
ПодробнееПроверка экспорта на отложенных эпизодах: средняя абсолютная ошибка (MAE) предсказания углов суставов составила 0.0826 рад (полная оценка успешности в замкнутом цикле RoboLab ещё не проводилась).
Обучение: 2 000 шагов на 2× A100-80GB в точности BF16 заняло 13.2 часа (батч 64, lr 1e-4).
Лицензия: OpenMDW-1.1 (унаследована от базовой модели).
Обсудить Telegram 0 19

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # joonyeongs/cosmos3-edge-policy-droid-failure-prevention-six-task-lora-r32-a64-2k
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download joonyeongs/cosmos3-edge-policy-droid-failure-prevention-six-task-lora-r32-a64-2k --local-dir ~/models/cosmos3-edge-policy-droid-failure-prevention-six-task-lora-r32-a64-2k
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии cosmos3-edge-policy-droid-failure-prevention-six-task-lora-r32-a64-2k — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

joonyeongs/cosmos3-edge-policy-droid-failure-prevention-six-task-lora-r32-a64-2k
Автор
joonyeongs
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

190

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Робототехника

Cosmos3 Edge

Cosmos3 Edge