К содержимому
Робототехника

VTLA-RL-sft-lora-task820

тактильная VLA-модель для робототехники на базе Pi0.5

2 мин чтенияобновлено

Модель из семейства VLA (Vision-Language-Action — нейросети, объединяющие зрение, текст и управление действиями) для управления роботом с использованием тактильных данных. Она принимает изображение с основной камеры, камеры на запястье, мозаику из истории тактильных сенсоров и текстовую команду без наречий, выдавая на выходе последовательность действий на 50 шагов вперёд. Решение основано на базовой модели Pi0.5 (включающей PaliGemma и SigLIP) и опубликовано автором Demomasterlqx в формате BF16 с уже влитыми весами LoRA (адаптеров дообучения) и сглаживанием EMA. В отличие от классических визуально-моторных моделей, здесь отключена токенизация состояния и прямые числовые показатели силы — ставка сделана исключительно на визуальное представление истории касаний. Пригодится исследователям и разработчикам в области робототехники, работающим со средой OpenPI и задачами тактильного манипулирования.

Ключевые особенности

  • Три чекпоинта на выбор: в репозитории лежат промежуточные сохранения на 10 000 и 20 000 шагов, а также финальная версия на 30 000 шагов (step_30000/).
  • Тактильная мозаика 4×4: восемь исторических кадров с левого и правого датчиков собираются в единое RGB-изображение 224×224 с плитками 56×56 пикселей.
  • Готовые к инференсу веса: адаптеры LoRA (ранг 16 для PaliGemma и 32 для эксперта действий) уже объединены в model.safetensors с EMA decay 0.99.
  • Без числовых данных о силе: модель не использует токены состояния и числовые значения силы или смещения маркеров в качестве входных префиксов.

Что можно сделать

  • Запустить управление манипулятором в совместимом фреймворке VTLA/T2-VLA OpenPI с конфигурацией pi05_lora_tacimg_realworld_replayed_task820_force.
  • Использовать мозаичный формат подачи истории тактильных сенсоров (mosaic_4x4) для задач захвата и манипуляции объектами без подачи сырых векторов силы.
  • Провести собственное тестирование и валидацию в симуляторе или на реальном стенде, так как в карточке опубликованы только веса без метрик успешности выполнения задач.

Пример

hf download Demomasterlqx/VTLA-RL-sft-lora-task820-firm-current-tacimg-nostate-force005 \
  --include 'step_30000/*' README.md provenance.json training_config.yaml SHA256SUMS \
  --local-dir task820-firm-current-tacimg
ПодробнееОбучение: 30 000 шагов (23 часа 49 минут) на 4 видеокартах RTX 4090 с глобальным батчем 32.
Датасет: xiangxin0923/realworld_task820_firm_current (90 эпизодов, 13 446 кадров на частоте 5 Гц).
Выход: горизонт действий 50 шагов, 13 активных каналов действий (дополнены до 32).
Ограничения: модель прошла строгую проверку загрузки весов на CPU (812 тензоров BF16), но оценка успешности действий и тесты в симуляторе автором не проводились.
Обсудить Telegram 0

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 6.7 GB · готовые файлы7.9 GB
  • FP8 / INT8рекомендуемвеса 3.4 GB4.2 GB
  • 4-bitвеса 1.9 GB2.6 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 5060 Ti 8GB

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Demomasterlqx/VTLA-RL-sft-lora-task820-firm-current-tacimg-nostate-force005
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Demomasterlqx/VTLA-RL-sft-lora-task820-firm-current-tacimg-nostate-force005 --local-dir ~/models/VTLA-RL-sft-lora-task820-firm-current-tacimg-nostate-force005
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии VTLA-RL-sft-lora-task820-firm-current-tacimg-nostate-force005 — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

Demomasterlqx/VTLA-RL-sft-lora-task820-firm-current-tacimg-nostate-force005
Автор
Demomasterlqx
Категория
Робототехника
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Робототехника

Pi0.5 Task820

Pi0.5 Task820