TwinVLA Independent FT
чекпоинты для 44 задач робототехники
2 мин чтенияобновлено
Набор дообученных моделей для управления двурукими роботами-манипуляторами в симуляторе RoboTwin 2.0. Репозиторий основан на VLA-модели (Vision-Language-Action — нейросеть, связывающая зрение, текстовые инструкции и действия робота) jellyho/TwinVLA, которая в свою очередь опирается на nvidia/Eagle2-1B. В отличие от базовой архитектуры, здесь используются две полностью независимые копии весов для каждой руки робота при замороженном визуальном энкодере SigLIP. Релиз пригодится исследователям робототехники в качестве готового бейзлайна (контрольной точки для сравнения алгоритмов).
Ключевые особенности
- Содержит промежуточные чекпоинты (шаги 10k, 20k и 30k) сразу для 44 различных задач из среды RoboTwin 2.0.
- Архитектура разделена на независимые ветки для каждого манипулятора (backbone, декодер действий, эмбеддинги и энкодер состояния), а общие модули и зрение заморожены.
- Для экономии места хранятся только обучаемые тензоры (818 штук, ~2.5 GiB на чекпоинт), а 447 замороженных тензоров подтягиваются из одного эталонного файла.
- В комплект входит Python-скрипт
ckpt_strip.pyдля быстрой сборки полноценных весов перед запуском.
Что можно сделать
- Собрать полный чекпоинт под нужную задачу манипуляции (например,
adjust_bottle) и протестировать выполнение команд в среде RoboTwin 2.0 с помощью скриптаeval_policy.py. - Использовать представленные веса как воспроизводимый бейзлайн Independent FT при разработке и сравнении собственных VLA-политик управления двумя руками.
Пример
hf download william-yudi/twinvla-independent-ft-robotwin --include "reference/*" "robotwin/adjust_bottle/step_030000/*" "ckpt_strip.py" --local-dir twinvla_ift
cd twinvla_ift
python ckpt_strip.py merge robotwin/adjust_bottle/step_030000 merged/adjust_bottle_step_030000Подробнее
Обучение: датасет jellyho/robotwin2_rlds (demo_clean), по 48 демонстраций на задачу, 40k шагов, batch size 8, lr 1e-4 (cosine, 1% warmup), функция потерь flow-matching.Оценка: RoboTwin 2.0 eval_policy.py на новых инструкциях (unseen instructions), seed 0, 50 эпизодов на чекпоинт.
Ограничения: перед загрузкой через TwinVLA.from_pretrained нужно прописать актуальный путь в frozen_ref.json и объединить веса.
Лицензия: CC BY-NC 4.0 (только для некоммерческого использования).










Комментарии