VLCM-checkpoints
предсказание прогресса задач в робототехнике
2 min readupdated
Набор исследовательских чекпоинтов для мультиагентных систем, которые оценивают прогресс выполнения задачи по визуальным данным и имитируют поведение агентов. Внутри два ключевых компонента: модель прогнозирования прогресса CFM-Future5, работающая поверх VLM (визуально-языковой модели) Qwen/Qwen3-VL-2B-Instruct, и компактная CNN-политика поведенческого клонирования (BC — обучение с учителем на примерах оптимальных действий). Релиз ориентирован на исследователей в области робототехники и мультиагентного управления, которым нужны готовые веса для оценки траекторий без запуска полного цикла обучения.
Ключевые особенности
- Два модуля в одном репозитории: замороженная модель оценки прогресса
CFM-Future5и политика поведенческого клонированияAO400_optimal_epoch051. - Временной горизонт прогноза: CFM-Future5 принимает 8 наблюдений с частотой 5 Гц и предсказывает 10 интервалов прогресса с шагом 0,2 секунды.
- Мультимодальный вход для политики: BC-модель на базе небольшой CNN использует вид сверху в разрешении RGB 224×224 и векторы состояния робота, цели и команды.
- Честная метрика прогресса: система прогнозирует именно продвижение к цели, а не вероятность столкновения или функцию ценности RL (обучения с подкреплением).
Что можно сделать
- Оценивать краткосрочный прогресс выполнения командных задач на горизонте +0,2 секунды в симуляторах мультиагентной робототехники.
- Использовать легкую CNN-политику с выходом на 8 команд (с параметризацией
tanh) в качестве базового контроллера для задачи AO. - Проводить воспроизводимые эксперименты по поведенческому клонированию, опираясь на приложенные метаданные контрактов входов и выходов в
actor_bundle.json.
Пример
Чекпоинт cfm/Future5_epoch027_step152758.pt является частичным сохранением весов, а не автономной моделью для AutoModel из Transformers. Для запуска необходимо подключить базовую модель Qwen/Qwen3-VL-2B-Instruct, оригинальное определение архитектуры VLCM и восстановить замороженные параметры с помощью reconstruction seed 42, передав на вход серию из 8 кадров (5 Гц) и снимков команд.
Подробнее
Метрика BC-политики: MAE первого действия на валидации (80 эпизодов) составила 0.0928846 в нормализованных единицах (обучение велось на 320 эпизодах).Формат экспорта: только веса для инференса с проверкой целостности через
CHECKSUMS.json (SHA-256).Ограничения: в репозитории нет кода архитектуры VLCM, состояний оптимизатора и датасетов; требуется соблюдение лицензии базовой модели Qwen.










Comments