SpikeVLA catcher
ловит мяч по событиям
1 min read
Политика SpikeVLA для робота reBot Arm B601-DM с пятипалой кистью: ловит мяч, брошенный со скоростью 8 м/с с 4 м, используя только две event-камеры. Модель на 39,2 млн параметров построена вокруг спайкового бэкбона SDT-V3 19M и выдаёт команды для энд-эффетора и кисти.
Ключевые особенности
- На вход — два event-кадра 224×224 (время с последнего события, затухание 10/50/250 мс) и состояние руки.
- Спайковая vision-language fusion, локатор мяча на токенах и баллистический трек.
- На выходе — чанк 12×20 мс целей энд-эффетора и команда кисти, обновление каждые 4 мс.
- Инструкция «catch the ball» фиксирована; замороженные состояния SmoothSpike-BERT хранятся в весах.
- Обучение в MuJoCo на экспертных демонстрациях + один раунд DAgger на собственных бросках.
Пример
git clone https://github.com/wxqnl/taucatch.git
cd taucatch
pip install -r requirements/vla_catch.txt
python tools/fetch_spikevla_deps.py
Подробнее
В симуляции, 300 бросков 8 м/с с 4 м (задержка 20 мс): action head — 84,7%, трек + экспертный планировщик — 91,3%.На 9 м/с точность action head падает до 49%, на 10 м/с — до 22%.
39,2 млн параметров; текстовая модель не входит в веса, инструкция фиксирована. Обучение — MuJoCo + один раунд DAgger.










Comments