LingBot-Touch-Tiny

LingBot-Touch-Tiny от robbyant — JEPA-модель тактильных представлений, которая связывает разнородные тактильные сигналы с ловкой роботизированной манипуляцией. Она использует модальные токенизаторы и общий Transformer, чтобы учить структуру контакта и временные изменения через предсказание в латентном пространстве. Покрыты три модальности: магнитная, пьезорезистивная и визуотактильная.

🤔 Ключевые особенности

• 😎 JEPA-подход: представления контакта и их динамики изучаются через предсказание в латентном пространстве.
• 🗣 Три модальности: магнитная (три оси), пьезорезистивная (скаляр в Z, X/Y = 0) и визуотактильная (скалярная деформация или интенсивность в Z; сырые RGB не подаются).
• 📝 Общий Transformer и модальные токенизаторы; выход — токеновые латентные представления и временные, пальцевые и пространственные адреса.
• 👍 Для downstream-задач тактильного восприятия и манипуляций рекомендуется attention-based querying.
• 🤔 Вход: нормализованные сигналы [B,T,5,M,3], координаты такселей и выбор модальности; порядок пальцев — большой, указательный, средний, безымянный, мизинец.

📝 Пример

Сценарий из карточки: робот с тактильными датчиками подаёт нормализованные сигналы [B,T,5,M,3] и выбор модальности, а затем использует токеновые латентные представления для downstream-восприятия или манипуляций. Готового кода запуска в карточке нет: репозиторий содержит только веса и конфиг, а совместимая реализация инференса распространяется отдельно.

Подробнее

Бенчмарков в карточке нет; заявлены три модальности и вход [B,T,5,M,3].
Требования к VRAM и железу не указаны. Веса — только параметры замороженного target encoder, вместе с config.json.
Ограничения: нет кода инференса, сенсорных адаптеров, датасетов, предикторов, downstream task heads, optimizer states и логов обучения.
Лицензия — Apache 2.0.