К содержимому
Робототехника

Sensorcade-BC v0.1

бейзлайн-модели управления роботами с мультисенсорным вводом

2 мин чтенияобновлено

Набор из 24 базовых политик управления роботами (behavior-cloning baselines — моделей, обученных имитировать действия эксперта) для бенчмарка Sensorcade. В отличие от стандартных VLA-моделей (Vision-Language-Action), которые опираются только на камеры, текст и состояние суставов, варианты full здесь дополнительно обрабатывают показания реальных датчиков в реальном времени: тактильные сенсоры, датчики силы и крутящего момента, сонары, лидары, тепловизоры и IMU. Все модели обучены с нуля на открытом датасете Sensorcade v0.1, построены вокруг компактного трансформера с flow-matching головой действий и замороженным текстовым энкодером Qwen3.5-4B. Релиз пригодится исследователям робототехники как готовая точка отсчёта для оценки вклада датчиков в сложные задачи манипуляции, полётов и подводной навигации.

Ключевые особенности

  • 24 готовых чекпоинта: 6 платформ роботов (манипулятор I2RT YAM, гуманоид Unitree G1, квадрокоптер Skydio X2, робопёс Unitree Go1 и подводный аппарат ROV) в 2 конфигурациях входов и по 2 сида обучения.
  • Сравнение с сенсорами и без: для каждой платформы доступны версии full (с полным набором датчиков) и nosense (только камеры, язык и состояние робота).
  • Асинхронная архитектура: токены изображений, текста и датчиков обновляются каждые 10 шагов управления, а голова действий (flow-matching) срабатывает на каждом шаге по актуальному состоянию.
  • Полная воспроизводимость: вместе с весами last.pt (235–263 МБ) лежат конфигурации входов, аргументы обучения и логи train.jsonl / val.jsonl.

Что можно сделать

  • Изучить влияние датчиков на точность: сравнить поведение моделей full и nosense в задачах точного наливания жидкостей или подводной инспекции.
  • Использовать как бейзлайн в симуляторе: прогнать готовые чекпоинты в среде Sensorcade и сравнить обычный behavior cloning с интерактивными методами обучения.
  • Переобучить под свои эксперименты: модифицировать архитектуру энкодеров датчиков и заново обучить политики на датасете Sensorcade v0.1 с помощью скрипта train_bc.py.

Пример

git clone [https://github.com/bosung/sensorcade.git](https://github.com/bosung/sensorcade.git) && cd sensorcade
uv sync --extra baselines
hf download bosungkim/sensorcade-v0.1 --include "bcD_rov_full_s0/*" --local-dir checkpoints
uv run --extra baselines python scripts/eval_set.py --model bcD_rov_full_s0 \
  --checkpoint checkpoints/bcD_rov_full_s0/last.pt --realism checkpoint --kinds main hard --prompt-batch
ПодробнееОбщий средний успех на тестовых сценариях (main и hard) составляет 4.4% для моделей с сенсорами против 0.1% у версий без сенсоров (потолок эксперта — 83.5%).
Наибольший прирост от датчиков зафиксирован в подводной инспекции Subsea Inspection (29.2% против 0.0%) и точном наливании Precision Pour (10.0% против 0.8%).
Обучение длилось 30 000 шагов (40 000 для g1 и g1_pour) с батчем 32 и learning rate 3e-4; в качестве текстового энкодера использован замороженный Qwen3.5-4B.
Авторы отмечают, что без интерактивной коррекции модели постепенно отклоняются от траектории эксперта при самостоятельном управлении.
Лицензия кода и весов — Apache-2.0, датасета — CC-BY-4.0.
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # bosungkim/sensorcade-v0.1
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download bosungkim/sensorcade-v0.1 --local-dir ~/models/sensorcade-v0.1
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к sensorcade-v0.1
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии sensorcade-v0.1 — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

bosungkim/sensorcade-v0.1
Автор
bosungkim
Категория
Робототехника
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии