SmolVLM2-500M-GUI-Grounding
клик по скриншоту по текстовой команде
2 min readupdated
Модель получает скриншот и инструкцию на английском («нажми кнопку Save») и возвращает точку клика в процентах от ширины и высоты изображения. Это файнтюн SmolVLM2-500M-Video-Instruct на 498,6 млн параметров; весит около 1 ГБ в bf16. Обучена полным SFT на публичных GUI- и pointing-данных, примерно 35 GPU-часов на одной NVIDIA H100 80 GB. Пригодится для прототипов GUI-агентов и автоматизации интерфейсов, где нужна маленькая модель, а не 2–3B+. Отличие от 256M-версии — большая языковая модель: на одном проходе она точнее на всех трёх бенчмарках.
Ключевые особенности
- 500M-параметров: SigLIP-B/16 как vision encoder и SmolLM2-360M как языковая модель.
- Один forward pass по полному скриншоту возвращает координаты (x, y) целыми числами 0–100.
- Полнопараметрический SFT в несколько этапов на публичных GUI- и pointing-данных.
- Single pass: ScreenSpot-v2 — 80.0%, ScreenSpot-Pro — 21.7%, OSWorld-G — 39.4%.
- Инструкции только на английском; модель обучена и оценена только на статичных скриншотах.
Что можно сделать
- Собрать бота, который находит на скриншоте кнопку или поле по текстовой команде.
- Автоматизировать тесты веб- и мобильных интерфейсов: получать координаты клика без ручной разметки.
- Использовать как grounding-компонент в GUI-агенте вместе с отдельным планировщиком.
- Прогнать на своих скриншотах и сравнить с 256M-версией по точности и скорости.
Пример
from transformers import AutoProcessor, AutoModelForImageTextToText
import torch
repo = "avinash2468/SmolVLM2-500M-GUI-Grounding"
device = "cuda" if torch.cuda.is_available() else "cpu"
processor = AutoProcessor.from_pretrained(repo)
model = AutoModelForImageTextToText.from_pretrained(repo, torch_dtype=torch.bfloat16).to(device)
# messages и PROMPT — как в карточке; ответ (x, y) из 0–100 переведите в пиксели
Подробнее
ScreenSpot-v2: 80.0 за 1 проход; ScreenSpot-Pro: 21.7; OSWorld-G: 39.4.12 проходов с test-time refinement: 76.6 / 43.9 / 49.2, но код refinement в релиз не входит.
Веса ≈1.0 ГБ bf16; обучение ≈35 GPU-часов на H100 80 GB.
Слабое место — похожие иконки и очень широкие/4K-экраны; модель не планирует задачи и не отказывается, если элемента нет.
Лицензия Apache-2.0; инструкции только на английском.










Comments