Sensorcade-BC v0.1
бейзлайн-модели управления роботами с мультисенсорным вводом
2 min readupdated
Набор из 24 базовых политик управления роботами (behavior-cloning baselines — моделей, обученных имитировать действия эксперта) для бенчмарка Sensorcade. В отличие от стандартных VLA-моделей (Vision-Language-Action), которые опираются только на камеры, текст и состояние суставов, варианты full здесь дополнительно обрабатывают показания реальных датчиков в реальном времени: тактильные сенсоры, датчики силы и крутящего момента, сонары, лидары, тепловизоры и IMU. Все модели обучены с нуля на открытом датасете Sensorcade v0.1, построены вокруг компактного трансформера с flow-matching головой действий и замороженным текстовым энкодером Qwen3.5-4B. Релиз пригодится исследователям робототехники как готовая точка отсчёта для оценки вклада датчиков в сложные задачи манипуляции, полётов и подводной навигации.
Ключевые особенности
- 24 готовых чекпоинта: 6 платформ роботов (манипулятор I2RT YAM, гуманоид Unitree G1, квадрокоптер Skydio X2, робопёс Unitree Go1 и подводный аппарат ROV) в 2 конфигурациях входов и по 2 сида обучения.
- Сравнение с сенсорами и без: для каждой платформы доступны версии
full(с полным набором датчиков) иnosense(только камеры, язык и состояние робота). - Асинхронная архитектура: токены изображений, текста и датчиков обновляются каждые 10 шагов управления, а голова действий (flow-matching) срабатывает на каждом шаге по актуальному состоянию.
- Полная воспроизводимость: вместе с весами
last.pt(235–263 МБ) лежат конфигурации входов, аргументы обучения и логиtrain.jsonl/val.jsonl.
Что можно сделать
- Изучить влияние датчиков на точность: сравнить поведение моделей
fullиnosenseв задачах точного наливания жидкостей или подводной инспекции. - Использовать как бейзлайн в симуляторе: прогнать готовые чекпоинты в среде Sensorcade и сравнить обычный behavior cloning с интерактивными методами обучения.
- Переобучить под свои эксперименты: модифицировать архитектуру энкодеров датчиков и заново обучить политики на датасете Sensorcade v0.1 с помощью скрипта
train_bc.py.
Пример
git clone [https://github.com/bosung/sensorcade.git](https://github.com/bosung/sensorcade.git) && cd sensorcade
uv sync --extra baselines
hf download bosungkim/sensorcade-v0.1 --include "bcD_rov_full_s0/*" --local-dir checkpoints
uv run --extra baselines python scripts/eval_set.py --model bcD_rov_full_s0 \
--checkpoint checkpoints/bcD_rov_full_s0/last.pt --realism checkpoint --kinds main hard --prompt-batch
Подробнее
Общий средний успех на тестовых сценариях (main и hard) составляет 4.4% для моделей с сенсорами против 0.1% у версий без сенсоров (потолок эксперта — 83.5%).Наибольший прирост от датчиков зафиксирован в подводной инспекции Subsea Inspection (29.2% против 0.0%) и точном наливании Precision Pour (10.0% против 0.8%).
Обучение длилось 30 000 шагов (40 000 для
g1 и g1_pour) с батчем 32 и learning rate 3e-4; в качестве текстового энкодера использован замороженный Qwen3.5-4B.Авторы отмечают, что без интерактивной коррекции модели постепенно отклоняются от траектории эксперта при самостоятельном управлении.
Лицензия кода и весов — Apache-2.0, датасета — CC-BY-4.0.










Comments