pnpid-calvin-abc-flower
чекпоинт VLA-модели FLOWER для робототехники
2 мин чтенияобновлено
Это набор весов (чекпоинтов) для модели FLOWER класса VLA (Vision-Language-Action — нейросеть, связывающая зрение, текстовые команды и действия робота). Модель дообучена на симуляционном бенчмарке CALVIN по протоколу ABC→D (обучение в средах A, B, C с проверкой обобщения на новой среде D) на базе предобученной mbreuss/flower_vla_pret. Репозиторий создан для сравнения разных вспомогательных функций потерь (auxiliary objectives) при обучении, а на выходе модель предсказывает последовательности действий робота по визуальному входу и языковым инструкциям. Пригодится исследователям и разработчикам в области робототехники для воспроизведения экспериментов и оценки алгоритмов управления.
Ключевые особенности
- В основе лежит предобученная база
mbreuss/flower_vla_pret(шаг 360000) с использованиемmicrosoft/Florence-2-large. - Сравниваются три варианта обучения: базовый
vanillaс rectified flow (L_FM) и две версии с дополнительными функциями потерь —aux_state_diff(разница состояний) иaux_bc(behavior cloning). - Сейчас в репозитории доступен чекпоинт
vanilla/seed242/step40k/, а варианты с auxiliary loss находятся в процессе обучения и будут добавлены позже. - В комплекте с весами
model.ckpt(включая EMA-веса без состояний оптимизатора) идут полные конфигурации Hydra в скрытой папке.hydra/.
Что можно сделать
- Провести офлайн-оценку политики управления роботом в симуляторе
calvin_envна валидационной выборке датасета CALVINtask_ABC_D. - Использовать чекпоинт
vanillaкак базовую точку для сравнения после того, как автор загрузит вариантыaux_state_diffиaux_bc.
Пример
hf download KyujinL/pnpid-calvin-abc-flower --include "vanilla/seed242/step40k/*" --local-dir ckpts/pnpid-calvin-abc-flower
CKPT_DIR=ckpts/pnpid-calvin-abc-flower/vanilla/seed242/step40k
CUDA_VISIBLE_DEVICES=0 python flower/evaluation/flower_evaluate.py "train_folder=$CKPT_DIR/.hydra/config.yaml" "checkpoint=$CKPT_DIR/model.ckpt" dataset_path=/task_ABC_D log_dir=$CKPT_DIR/eval device=0 num_sequences=1000 ep_len=360 num_sampling_steps=4 multistep=10Подробнее
Обучение: 4 GPU, глобальный батч 32, 40k шагов оптимизатора (40 эпох по 1000 шагов), AdamW lr 2e-5, EMA decay 0.999, точность bf16-mixed, seed 242.Зависимости для оценки: код PnPID_flower с подмодулем
calvin_env, датасет CALVIN task_ABC_D, torch 2.2.2, pytorch-lightning 2.0.8, transformers 4.49.0, hydra-core 1.1.1.Важно: при скачивании убедитесь, что скрытая папка
.hydra/ сохранилась — загрузчик читает из неё config.yaml.









Комментарии