LingBot-Touch-Small

LingBot-Touch-Small от robbyant — JEPA-модель тактильных представлений, которая связывает разнородные тактильные сигналы с ловкой роботизированной манипуляцией. Она использует модальностные токенизаторы и общий Transformer, а представления контактной структуры и временных изменений учит через предсказание в латентном пространстве. Модель покрывает магнитную, пьезорезистивную и визуотактильную модальности.

👀 Ключевые особенности

• 🔥 JEPA-подход: обучение представлений через предсказание в латентном пространстве.
• 👀 Три модальности: magnetic, piezoresistive и visuotactile.
• 💪 Модальностные токенизаторы плюс общий Transformer.
• 🐾 Вход — нормализованные сигналы [B,T,5,M,3], канонические координаты такселей и выбор модальности; порядок пальцев: thumb, index, middle, ring, pinky.
• 🤫 В репозитории только веса замороженного target-энкодера и конфиг; inference-код, адаптеры, датасеты и task heads отдельно.
• 👉 На выходе — token-level латентные представления и адреса по времени, пальцу и пространству; для чтения под задачу рекомендуется attention-based querying.

💪 Пример

На вход энкодеру подаётся нормализованный тензор [B,T,5,M,3], канонические координаты такселей и выбор сенсорной модальности. X/Y нормализуются в [-1,1], Z — в [0,1]; на выходе получаются token-level латентные представления и адреса, которые можно считывать attention-запросом под downstream-задачу.