VIM 27B LoRA v2
действие и миссия робота из одного видео
2 min readupdated
Адаптер к Qwen3.5-27B, который по истории визуального телеуправления одновременно предсказывает два выхода: текущее действие и текущую миссию — то есть что робот делает прямо сейчас и в рамках какой задачи. Обучен на датасете VI AMO v2: 6 600 эпизодов, 13 653 действия и 9 702 миссии. Это финальный чекпоинт завершённого тренировочного прогона VI AMO v2, использованный для оценки VIM (Ours). Веса и файлы процессора побайтово совпадают с v2-чекпоинтом, который раньше лежал в коде VIM, — на Hugging Face обновили только карточку и контрольные суммы. Пригодится тем, кто работает с vision-language-action моделями и разбирает логи телеуправления.
Ключевые особенности
- Два предсказания сразу: ongoing action и ongoing mission из визуальной истории.
- LoRA rank и alpha 16, одна эпоха обучения и 4 306 шагов оптимизатора.
- Оценка на 1 091 тестовом действии при девяти точках отсечения наблюдений — всего 9 819 предсказаний.
- Есть
checkpoint.jsonс происхождением иSHA256SUMSдля проверки файлов. - Базовая модель
unsloth/Qwen3.5-27Bскачивается отдельно и в адаптер не входит.
Что можно сделать
- Подключить адаптер к пайплайну VIM из официального репозитория и прогнать собственные записи телеуправления через
--model checkpoints/vim27b_lora_v2. - Взять как отправную точку для своих LoRA под конкретный робот или набор миссий — ранг 16 оставляет запас для дообучения.
- Сравнить предсказания действия и миссии на разных точках отсечения наблюдений, чтобы понять, сколько кадров нужно модели.
Пример
hf download viamodelanddataset/vim27b_lora_v2 \
--local-dir checkpoints/vim27b_lora_v2
(cd checkpoints/vim27b_lora_v2 && sha256sum --check SHA256SUMS)
Подробнее
База:unsloth/Qwen3.5-27B, ревизия 68443620….Обучение: 1 эпоха, 4 306 шагов, LoRA rank и alpha 16.
Язык карточки и данных — только английский; инструкции по инференсу лежат в GitHub-репозитории VIM.
SHA-256 весов:
4759b2b3…8f0d8e0f.









Comments