microduck-skill-agent
LoRA-адаптеры для управления роботом в MuJoCo
2 мин чтенияобновлено
Набор LoRA-адаптеров (небольших надстроек над базовой моделью), который превращает мультимодальную модель Qwen3-VL-4B-Instruct в планировщик действий для небольшого шагающего робота «microduck» в симуляторе MuJoCo. На каждом шаге нейросеть получает кадр с камеры и текстовую инструкцию на английском или китайском языке, а на выходе генерирует конкретную команду в формате JSON (например, move, turn, approach, explore или return_home). Модель отвечает только за выбор высокоуровневого навыка и работает в связке с алгоритмами из репозитория проекта (построение карты глубины, поиск пути A*), а не как прямой контроллер моторов. Решение подойдёт исследователям и разработчикам робототехники, изучающим применение VLM (визуально-языковых моделей) для навигации в виртуальных средах.
Ключевые особенности
- Выбор из 11 навыков: модель предсказывает одно из действий —
move,turn,approach,search,explore,return_home,stop,done,clarify,unsupportedилиbypass_return. - Два языка команд: понимает инструкции на английском и китайском языках с опорой на изображение с камеры.
- Четыре версии в одном репозитории: доступны папки
lang-v1–lang-v4; основной принятой версией с лучшими результатами являетсяlang-v2. - Лёгкая дообученная надстройка: содержит всего 655 360 обучаемых параметров (LoRA rank 8) поверх 4-битной квантованной базы Qwen3-VL-4B-Instruct.
Что можно сделать
- Тестировать VLM-навигацию в MuJoCo: запустить агента в многокомнатных мирах симулятора для задач поиска объектов и движения к цели (например, «подойти к крайнему левому мячу и вернуться»).
- Сравнивать итерации обучения: загружать разные подпапки (
lang-v1—lang-v4) и проверять, как объём обучающих данных влияет на точность выбора навыков. - Изучать гибридную архитектуру: использовать проект как референс связки языковой модели с классическими алгоритмами вроде A* и исследованием границ карты.
Пример
import torch
from transformers import AutoModelForImageTextToText, BitsAndBytesConfig
from peft import PeftModel
base = "Qwen/Qwen3-VL-4B-Instruct"
quant = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True, bnb_4bit_compute_dtype=torch.bfloat16)
model = AutoModelForImageTextToText.from_pretrained(base, quantization_config=quant, device_map="auto")
model = PeftModel.from_pretrained(model, "atlasmarkz/microduck-skill-agent", subfolder="lang-v2")Подробнее
Метрикиlang-v2 на тестовых планировках (seeds 99000, 99100): строгая точность 61/74 (82.4%), эквивалентная по результату — 65/74 (87.8%).Обучение: 300 шагов на 3 074 примерах (для
lang-v2) на одной видеокарте RTX 3060 (8 GiB) заняло около 13 минут.Ограничения: предназначено только для симуляции (не запускать на физическом роботе); требует специфического формата промпта и исполнителей навыков из репозитория
atlasmarkz/microduck-qwen.Лицензия: Apache-2.0.










Комментарии