GUI-Swift-4B

GUI-Swift-4B — исследовательский LoRA-адаптер для GUI-Owl-1.5-4B-Instruct от dongjintao. Предсказывает действие desktop GUI, включая параметры и текст, одним native causal forward по 131 фиксированному слоту; отдельного авторегрессионного текстового генератора нет. Это desktop-only чекпойнт Desktop131 SFT step3368, не Unified133, не mobile-trained модель и не RL.

✨ Ключевые особенности

• 🖱 Один forward по 131 слоту: action, x/y, keys, scroll, time, status и text.
• 💎 Замороженный backbone: vision encoder/mergers, embeddings и output head не обучались; адаптер — LoRA rank 16, alpha 32.
• 📌 Координаты — нормализованные целые 0..1000; drag задаёт только точку назначения, старт — текущий указатель.
• 💻 Только desktop: mobile-совместимость не проверена; inference-скрипт печатает действие и не управляет мышью или клавиатурой.
• 🚨 Слабые места: текст и drag, возможны misclick, повторы, невалидный текст и преждевременная остановка.

📓 Пример

python -m pip install -r requirements.txt
python prepare_dependencies.py --destination /path/on/data-disk/gui-swift-deps
python infer.py \
  --base-model /path/on/data-disk/gui-swift-deps/GUI-Owl-1.5-4B-Instruct \
  --gui-decisions /path/on/data-disk/gui-swift-deps/GUI-Decisions \
  --request examples/request.json

Подробнее

OSWorld-derived выборка: 58/356 = 16.29% full success; mean reward 0.1712077.
Валидация: action-type 75.60%, canonical exact match 24.05%, text exact 30.08% (120/399).
Пик GPU — около 9.1 GiB на RTX 4090 в ограниченной проверке; базовая модель ~8.9 GB.
Обучение: LoRA rank 16, alpha 32, 33 030 144 FP32-параметра; 27 456 примеров, step3368 — шаг продолжения.
Это не полный лидерборд OSWorld; 5 задач не оценены; преимущество по latency/успеху над базой не доказано.