LingBot-VA LB43 LoRA r154
адаптер для робототехнической модели
2 мин чтенияобновлено
Это LoRA (небольшая надстройка над базовой моделью) для робототехнической модели kenzhengjk/lingbot-va-lb43-s11750, дообученная на демонстрациях 43 задач из симулятора RoboTwin. Адаптер обновляет проекции слоя внимания attn1 во всех 30 блоках трансформера (всего 120 линейных слоёв), причём одни и те же слои разделяются между токенами видео и действий. Версия с рангом 154 создана как контрольный вариант, сопоставимый по количеству обучаемых параметров с методом HFS head-delta. Репозиторий пригодится исследователям робототехники, работающим со стеком LingBot-VA и форком Zero-WAM.
Ключевые особенности
- Содержит только веса адаптера (~113,5 млн обучаемых параметров в формате float32, 433 МиБ на чекпоинт); базовую модель нужно загружать отдельно (ревизия
70db6add). - Ранг 154 и alpha 154 (масштаб 1) подобраны так, чтобы число параметров было не ниже 113,27 млн (у бейзлайна Zero-WAM использовался ранг 77 на 240 слоях, здесь слоёв вдвое меньше).
- Обучение велось с функцией потерь
L_video + L_actionна 2 150 эпизодах (43 задачи RoboTwin по 50 чистых демонстраций). - Доступны промежуточные чекпоинты каждые 250 шагов — от
checkpoint_step_250доcheckpoint_step_10000, а также логи обученияmetrics.jsonl.
Что можно сделать
- Запустить адаптер без слияния весов через серверную обвязку
research.lingbot_va.server(из форка Zero-WAM), положив папкуlb_lora/рядом с компонентами базы. - Слить веса LoRA в базовую модель по формуле
W += (alpha / rank) * B @ Aдля инференса без динамической подгрузки адаптера. - Сравнить динамику качества на разных этапах обучения, протестировав чекпоинты от 250 до 10 000 шага, или сопоставить с версиями на ранги 77 и 38.
Пример
Чтобы подготовить папку чекпоинта для сервера research.lingbot_va.server, скопируйте или прилинкуйте из базовой модели каталоги transformer, vae, text_encoder и tokenizer, а рядом поместите lb_lora/ выбранного шага:
checkpoint_step_/
lb_lora/adapter.safetensors
lb_lora/spec.json
transformer/
vae/
text_encoder/
tokenizer/Подробнее
Обучаемые параметры: 113 541 120 (float32, 433 MiB на чекпоинт).Обучение: 4 GPU, эффективный батч 8 (batch 1 × grad accum 2), AdamW (lr 1e-4, cosine decay с 9000 до 10000 шага).
Ограничения: сама базовая модель
kenzhengjk/lingbot-va-lb43-s11750 не входит в репозиторий.









Комментарии