VLA-Touch FRS_Tact

Это набор из четырёх независимо обученных политик для робота FRS: insert, press, bread и two_tubes. В основе — RDT-1B с замороженными энкодерами SigLIP/T5 и тактильный стохастический интерполяционный контроллер с замороженной базой. Планировщик при развёртывании использует DeepSeek API.

📌 Ключевые особенности

• 🤖 Четыре отдельные модели под задачи FRS; для insert/press — 7D состояние правой руки и 10D действия, для bread/two_tubes — 20D двуручные состояние и действия.
• ✅ Тактильный контроллер улучшает translation MAE на всех четырёх задачах.
• 💻 В архиве есть веса RDT, контроллер, YAML, аудит, метрики и исходники для обучения и развёртывания.
• ⏳ Данные 30 Гц, горизонт контроллера 32, stride наблюдения/исполнения 8.
• ❌ Это адаптация под FRS и его сенсоры; успешность робота пока не оценивалась, а rotation6D MAE на press и bread ухудшается.

💻 Пример

hf download wjstx/VLA-Touch-FRS-Tact --local-dir ./vla_touch_bundle
cd vla_touch_bundle
sha256sum -c SHA256SUMS

Подробнее

Translation MAE, base → refined: insert 0.566 → 0.431 мм, press 0.463 → 0.415 мм, bread 0.397 → 0.362 мм, two_tubes 0.474 → 0.348 мм.
Rotation6D MAE ухудшается примерно на 4,9% для press и 11,6% для bread.
Нужны Python 3.12 и зафиксированные зависимости; только файл T5-XXL — около 44,5 ГБ. Для запуска нужны адрес/токен robot bridge и ключ DeepSeek API.