HITCH
управление гуманоидным роботом Unitree G1 через VLM
2 мин чтенияобновлено
Репозиторий содержит две vision-language модели (VLM — нейросети, работающие одновременно с изображениями и текстом), созданные для управления гуманоидным роботом Unitree G1 через программную обвязку HITCH. Обе версии дообучены на базе Qwen3.8-27B от команды исследователей (Lu et al.) и настроены отвечать сразу без вывода длинной цепочки рассуждений (reasoning trace). В отличие от обычных мультимодальных моделей, HITCH напрямую взаимодействует с инструментами управления телом робота в симуляторе и реальном мире. Релиз пригодится разработчикам в области робототехники и воплощённого ИИ (embodied AI).
Ключевые особенности
- Две версии в одном репозитории: базовая
HITCH-27B(используется на реальном роботе) иHITCH-27B-SIMPLE(дополнительно обучена на траекториях задач бенчмарка SIMPLE). - Генерация ответов без промежуточного reasoning trace для более быстрого отклика при вызове инструментов управления.
- Построена на базе Qwen3.8-27B с поддержкой контекста до 262 144 токенов и до 512 изображений на один промпт при запуске в vLLM.
- Открытая лицензия Apache-2.0, унаследованная от базовой модели.
Что можно сделать
- Развернуть локальный сервер инференса через vLLM и подключить его как бэкенд для управления реальным роботом Unitree G1.
- Запускать и тестировать агента в симуляторе на задачах манипуляции предметами (например,
tabletop_pick) с визуализацией через встроенный вьювер. - Использовать вариант
HITCH-27B-SIMPLEдля оценки и воспроизведения экспериментов на задачах бенчмарка SIMPLE.
Пример
hf download Axellwppr/HITCH --include "HITCH-27B/*" --local-dir hitch
vllm serve hitch/HITCH-27B --served-model-name hitch --port 8000 \
--reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder \
--max-model-len 262144 --limit-mm-per-prompt '{"image": 512, "video": 0}'
Подробнее
Базовая модель: Qwen/Qwen3.8-27B.Архитектура и формат: transformers, задача image-text-to-text.
Лицензия: Apache-2.0.
Бенчмарки и точные требования к объёму VRAM в карточке не указаны.










Комментарии