GLM-4.6V-Flash-9B-MobileWeave-SFT

Это SFT-файнтюн модели zai-org/GLM-4.6V-Flash от GUI-Gym для задачи image-text-to-text. Модель примерно на 10,29 млрд параметров обучена на датасете MobileWeave и предназначена для управления мобильными интерфейсами по скриншотам.

🔥 Ключевые особенности

• 🦾 Полный SFT языковой модели; vision tower и мультимодальный projector заморожены.
• ✅ Обучение на 15 393 примерах из 1 332 эпизодов: 3 эпохи и 1 446 шагов оптимизатора.
• 👁 Модель принимает скриншоты и выдаёт действия mobile_use с координатами, нормализованными к 0–1000.
• ⬇ Экспортированную модель можно запустить через vLLM 0.17.0 и Transformers 5.6.0.
• 🏔 Контекст до 32 768 токенов; в обучении использовались BF16, FlashAttention 2 и DeepSpeed ZeRO-2.

⬇ Пример

vllm serve GUI-Gym/GLM-4.6V-Flash-9B-MobileWeave-SFT \
  --served-model-name GLM-4.6V-Flash-mobileweave-sft \
  --port 8008 --max-model-len 32768 --max-num-seqs 256 \
  --gpu-memory-utilization 0.95 --data-parallel-size 8

Подробнее

Обучение: 15 393 примера, 3 эпохи, 1 446 шагов, LR 1e-5, effective batch size 32 на 8 GPU.
После шага 510 был GPU OOM; обучение возобновили с чекпоинта эпохи 1 (шаг 482) с gradient checkpointing.
Оценка на MobileGym по 8 seed ещё идёт; финальных результатов в карточке нет.
Для бенчмарка нужны промпты и action parser агента mbweave; языки — en и zh.