d1sh-molmospaces-pnp-ego
управление роботом от первого лица на базе d1-3B
2 мин чтенияобновлено
Это дообученная визуально-языковая модель (VLM) от автора hmkang, созданная для управления роботом-манипулятором в задачах захвата и перемещения предметов (pick-and-place). На вход нейросеть получает кадры с внешней камеры и камеры на запястье робота, а на выходе предсказывает одно из 15 дискретных действий из словаря molmoego15 (сдвиги на 2 см, повороты на 10 градусов, захват или отпускание). Модель основана на компактной архитектуре LiquidAI/d1-3B и представлена в виде LoRA-адаптера (небольшой надстройки над весами базовой модели), обученного методом SFT (контролируемого дообучения). В отличие от стандартных моделей со свободным текстовым ответом, эта версия выдает откалиброванные команды строго в системе координат камеры на запястье и готова к дальнейшему обучению с подкреплением (RL). Решение пригодится исследователям и разработчикам в области робототехники и симуляций.
Ключевые особенности
- Эгоцентрическая система координат: все команды перемещения (
MV_*) и вращения (RT_*) рассчитываются относительно камеры на запястье робота (wrist_camera_zed_mini). - 15 дискретных действий: словарь
molmoego15включает 6 направлений сдвига по 2 см, 6 вариантов поворота на 10 градусов вокруг TCP, а также командыGRASP,RELEASEиDONE. - Калибровка под RL: в качестве рекомендуемого чекпоинта выбрана третья эпоха LoRA с минимальным значением NLL (0.3936), что защищает от излишней самоуверенности модели перед запуском RL.
- Двухкамерный обзор: обучение проходило на паре изображений (внешняя камера
exo1и запястная камера), приведенных к разрешению 448×256 пикселей.
Что можно сделать
- Запустить базовую политику в симуляции: использовать модель для управления манипулятором в среде MolmoSpaces при решении задач перекладывания объектов.
- Продолжить обучение через RL: взять чекпоинт
d1-3b-lora/epoch3как хорошо откалиброванную отправную точку для дообучения с подкреплением в фреймворкеd1-showharness-rl. - Сравнить с полным файнтюном: протестировать поведение легкого LoRA-адаптера против полноразмерного дообучения на валидационных эпизодах.
Пример
from transformers import AutoModel
from peft import PeftModel
base = AutoModel.from_pretrained("LiquidAI/d1-3B", revision="051bcc464b01b9f92942b364d9586b0ef5912432", trust_remote_code=True, dtype="bfloat16").cuda()
model = PeftModel.from_pretrained(base, "hmkang/d1sh-molmospaces-pnp-ego", subfolder="d1-3b-lora/epoch3")Подробнее
Метрики лучшего чекпоинта (d1-3b-lora/epoch3): val NLL — 0.3936, точность (acc) — 85.69%, macro recall — 75.93%.Датасет обучения:
hmkang/molmospaces-pnp-ego-discrete-tokens (конфиг ego_straight, 10 010 эпизодов / 794 828 кадров; разделение 9 910 / 100 на обучение и валидацию).Важно при запуске: для корректного промпта и списка вариантов ответа необходимо задать переменную
D1_VOCAB=molmoego15.Ограничения: папка с полным файнтюном (
d1-3b-full) на момент публикации еще не загружена; лицензия соответствует базовой модели — LFM Open License v1.0.









Комментарии