chashmish-babubhaiya

Небольшая модель для GUI grounding от shricodev: LoRA-файнтюн Qwen/Qwen3-VL-2B-Instruct на 2,13 млрд параметров. Получает скриншот и инструкцию вроде «open the pricing page», а возвращает точку клика (x, y) в сетке 0..1000 относительно изображения. Обучена на веб-страницах, отрендеренных через Playwright.

👍 Ключевые особенности

• ⌨ Принимает скриншот и текстовую инструкцию, отвечает координатой клика.
• 📝 Координаты в сетке 0..1000; масштабируются под размер изображения.
• 🤓 LoRA-адаптация Qwen3-VL-2B-Instruct, 2,13 млрд параметров.
• 🏃‍♂ Запуск примерно в 5 ГБ VRAM; обучение — на одной бесплатной Kaggle T4.
• 👍 Click accuracy 84,7% на своём тесте и 82,6% на ScreenSpot web.

⌨ Пример

from PIL import Image
from transformers import AutoModelForImageTextToText, AutoProcessor

repo = "shricodev/chashmish-babubhaiya"
model = AutoModelForImageTextToText.from_pretrained(repo, dtype="auto", device_map="auto")
processor = AutoProcessor.from_pretrained(repo)
image = Image.open("screenshot.png").convert("RGB")
prompt = "Point to the UI element I should click to: open the pricing page. Answer with the click point as (x, y)."

Подробнее

На своём тесте: 84,7% click accuracy (n=300, невиданные сайты), p50 latency 613 ms; у базовой Qwen3-VL-2B — 78,0%.
ScreenSpot web: 82,6% (n=436).
Запуск примерно в 5 ГБ VRAM; обучение на одной Kaggle T4.
Ограничения: только веб-страницы, мелкие цели на больших экранах, модель не проверяет безопасность клика.