SpikeVLA catcher

Политика SpikeVLA для робота reBot Arm B601-DM с пятипалой кистью: ловит мяч, брошенный со скоростью 8 м/с с 4 м, используя только две event-камеры. Модель на 39,2 млн параметров построена вокруг спайкового бэкбона SDT-V3 19M и выдаёт команды для энд-эффетора и кисти.

🧐 Ключевые особенности

• 👀 На вход — два event-кадра 224×224 (время с последнего события, затухание 10/50/250 мс) и состояние руки.
• 🤖 Спайковая vision-language fusion, локатор мяча на токенах и баллистический трек.
• 👌 На выходе — чанк 12×20 мс целей энд-эффетора и команда кисти, обновление каждые 4 мс.
• 🫡 Инструкция «catch the ball» фиксирована; замороженные состояния SmoothSpike-BERT хранятся в весах.
• 🔥 Обучение в MuJoCo на экспертных демонстрациях + один раунд DAgger на собственных бросках.

👌 Пример

git clone https://github.com/wxqnl/taucatch.git
cd taucatch
pip install -r requirements/vla_catch.txt
python tools/fetch_spikevla_deps.py

Подробнее

В симуляции, 300 бросков 8 м/с с 4 м (задержка 20 мс): action head — 84,7%, трек + экспертный планировщик — 91,3%.
На 9 м/с точность action head падает до 49%, на 10 м/с — до 22%.
39,2 млн параметров; текстовая модель не входит в веса, инструкция фиксирована. Обучение — MuJoCo + один раунд DAgger.