VTLA-RL-sft-lora-task820
тактильная VLA-модель для робототехники на базе Pi0.5
2 мин чтенияобновлено
Модель из семейства VLA (Vision-Language-Action — нейросети, объединяющие зрение, текст и управление действиями) для управления роботом с использованием тактильных данных. Она принимает изображение с основной камеры, камеры на запястье, мозаику из истории тактильных сенсоров и текстовую команду без наречий, выдавая на выходе последовательность действий на 50 шагов вперёд. Решение основано на базовой модели Pi0.5 (включающей PaliGemma и SigLIP) и опубликовано автором Demomasterlqx в формате BF16 с уже влитыми весами LoRA (адаптеров дообучения) и сглаживанием EMA. В отличие от классических визуально-моторных моделей, здесь отключена токенизация состояния и прямые числовые показатели силы — ставка сделана исключительно на визуальное представление истории касаний. Пригодится исследователям и разработчикам в области робототехники, работающим со средой OpenPI и задачами тактильного манипулирования.
Ключевые особенности
- Три чекпоинта на выбор: в репозитории лежат промежуточные сохранения на 10 000 и 20 000 шагов, а также финальная версия на 30 000 шагов (
step_30000/). - Тактильная мозаика 4×4: восемь исторических кадров с левого и правого датчиков собираются в единое RGB-изображение 224×224 с плитками 56×56 пикселей.
- Готовые к инференсу веса: адаптеры LoRA (ранг 16 для PaliGemma и 32 для эксперта действий) уже объединены в
model.safetensorsс EMA decay 0.99. - Без числовых данных о силе: модель не использует токены состояния и числовые значения силы или смещения маркеров в качестве входных префиксов.
Что можно сделать
- Запустить управление манипулятором в совместимом фреймворке VTLA/T2-VLA OpenPI с конфигурацией
pi05_lora_tacimg_realworld_replayed_task820_force. - Использовать мозаичный формат подачи истории тактильных сенсоров (
mosaic_4x4) для задач захвата и манипуляции объектами без подачи сырых векторов силы. - Провести собственное тестирование и валидацию в симуляторе или на реальном стенде, так как в карточке опубликованы только веса без метрик успешности выполнения задач.
Пример
hf download Demomasterlqx/VTLA-RL-sft-lora-task820-firm-current-tacimg-nostate-force005 \
--include 'step_30000/*' README.md provenance.json training_config.yaml SHA256SUMS \
--local-dir task820-firm-current-tacimg
Подробнее
Обучение: 30 000 шагов (23 часа 49 минут) на 4 видеокартах RTX 4090 с глобальным батчем 32.Датасет:
xiangxin0923/realworld_task820_firm_current (90 эпизодов, 13 446 кадров на частоте 5 Гц).Выход: горизонт действий 50 шагов, 13 активных каналов действий (дополнены до 32).
Ограничения: модель прошла строгую проверку загрузки весов на CPU (812 тензоров BF16), но оценка успешности действий и тесты в симуляторе автором не проводились.










Комментарии