Pony-AndroidGrounding

Pony-AndroidGrounding — vision-language модель от JivinDotL, дообученная для visual grounding по инструкции на скриншотах Android. База — Qwen3-VL-2B-Instruct (2,13 млрд параметров): LoRA r=16 на q/k/v/o_proj, затем merge_and_unload в полные bf16-веса. В обучение также входит кастомный корпус Identity + Behavior SFT + DPO.

➕ Ключевые особенности

• 🔤 На инструкцию возвращает ровно один bbox в нормализованных координатах 0–1000; если цели нет — 未找到.
• 1⃣ Tool-call протокол (<tool_call> JSON; locate_ui_element / tap) — 6/6 под строгим парсером; модель только предлагает координаты и не выполняет действия.
• 2⃣ На тесте (115): IoU50 80.4, IoU75 72.5, click 87.5; корректный отказ и валидный JSON — по 100.
• 3⃣ Dense enumeration holdout (52): IoU50 100.0, IoU75 98.1.
• 4⃣ ~0.5 с на запрос в bf16 на одной датацентровой GPU; веса Apache-2.0.

🔜 Пример

from transformers import AutoModelForImageTextToText, AutoProcessor
model = AutoModelForImageTextToText.from_pretrained("JivinDotL/pony-android-grounding", dtype="bfloat16")
proc = AutoProcessor.from_pretrained("JivinDotL/pony-android-grounding")
# instruction + portrait screenshot -> <bbox>x1,y1,x2,y2</bbox>
# если цели нет — 未找到

Подробнее

Тест (115, отложенный домен приложений): IoU50 80.4, IoU75 72.5, click 87.5, корректный отказ 100, валидный JSON 100.
Val (225): IoU50 87.3, IoU75 85.0, click 93.5.
Латентность ~0.5 с (bf16, одна датацентровая GPU); обучение — портретные 720×1600, landscape/web вне OOD.
Слабые места: иконки <40 px и близкие группы иконок; Q6-проба про «Pony.ai» склонна к конфабуляции.
Веса Apache-2.0; скриншоты обучения не распространяются.