uitag-yolo11s-ui-detect-v1
детектор элементов интерфейса для десктопных скриншотов
2 min readupdated
Компактная модель компьютерного зрения от автора swaynehales, которая находит кнопки, меню, поля ввода и другие элементы управления на скриншотах. Она создана на базе YOLO11s (облегчённая версия детектора объектов от Ultralytics) и входит в состав инструмента uitag (начиная с версии v0.5.0), где закрывает пробелы Apple Vision при распознавании иконок и контролов. В отличие от универсальных детекторов, эта модель обучена специально на десктопных интерфейсах Windows, macOS и Linux из датасета GroundCUA и весит всего около 19 МБ. Пригодится разработчикам Computer Use-агентов (ИИ, управляющих компьютером), утилит доступности и систем парсинга экранов.
Ключевые особенности
- Распознаёт 9 базовых категорий элементов:
Button,Menu,Input_Elements,Navigation,Information_Display,Sidebar,Visual_Elements,OthersиUnknown. - Обучена на 223 826 тайлах размером 640×640 пикселей из датасета GroundCUA, охватывающего 87 десктопных платформ.
- Быстро работает даже на CPU и легко подключается через стандартную библиотеку
ultralytics. - Для скриншотов полного разрешения автор рекомендует нарезать картинку на тайлы 640×640 с перекрытием 20 % и объединять результаты через cross-tile NMS (алгоритм подавления дублирующихся рамок).
Что можно сделать
- Встроить в пайплайн Computer Use-агента для быстрого поиска координат кнопок, меню и полей ввода до передачи контекста в VLM.
- Использовать в инструментах экранного доступа (accessibility) и автотестирования десктопных приложений на Windows, macOS и Linux.
- Объединить с системными парсерами вроде Apple Vision, чтобы находить мелкие иконки и нестандартные контролы (в связке с Vision покрытие на ScreenSpot-Pro достигает 90,8 %).
Пример
from ultralytics import YOLO
model = YOLO("uitag-yolo11s-ui-detect-v1.pt")
results = model.predict("example.png", imgsz=640, conf=0.25, device="cpu", verbose=False)
for box in results[0].boxes:
print(model.names[int(box.cls)], round(float(box.conf), 3), [round(v) for v in box.xyxy[0].tolist()])Подробнее
Метрики на валидации GroundCUA (24 687 тайлов, 100 эпох): mAP@0.5 — 0.792, mAP@0.5:0.95 — 0.540, Precision — 0.741, Recall — 0.745.Обучение: 100 эпох на 2× H100 PCIe 80 GB (19,75 часа), ultralytics 8.4.30.
Ограничения: не распознаёт текст (не OCR), классы грубые и могут содержать шум разметки GroundCUA; мобильные и веб-интерфейсы не тестировались.
Лицензия: AGPL-3.0 (унаследована от весов Ultralytics YOLO11s).










Comments