pixeltree-detector
детектор элементов интерфейса для GUI-агентов
2 min readupdated
Компактная модель весом всего 19 МБ, которая находит на скриншотах десктопных программ и веб-страниц видимые элементы интерфейса и присваивает им одну из 16 ролей (кнопка, вкладка, текстовое поле, чекбокс и т. д.). Детектор построен на базе архитектуры Ultralytics YOLO11s и выпущен как исследовательский релиз от автора sentimentalk (Xinghan Xu). В связке с OCR (распознаванием текста) из репозитория pixeltree модель превращает картинку экрана в структурированный текстовый список с координатами — «дерево элементов», которое могут читать ИИ-агенты вместо тяжеловесных VLM. Инструмент пригодится разработчикам автономных компьютерных агентов, систем парсинга интерфейсов и автотестирования.
Ключевые особенности
- Распознаёт 16 классов UI-элементов, включая
aria:button,aria:textbox,aria:tab,aria:checkbox,vax:visibleTextи другие. - Высокая скорость работы: обработка одного кадра в разрешении 1280px занимает 44 мс на видеокарте RTX 2060 и 260 мс на ноутбучном CPU.
- Обучена на 2 782 скриншотах Linux-приложений (GTK, Qt, Electron), веб-страниц и датасета GroundCUA с разметкой от Claude Opus и проверкой Claude Sonnet.
- На тестовых наборах превосходит классический CV + OCR (0.623 F1) и детектор из OmniParser v2 (0.586 F1).
Что можно сделать
- Использовать как лёгкий модуль восприятия экрана для GUI-агентов, чтобы передавать LLM компактный текстовый список координат вместо скриншотов.
- Встроить в пайплайны автоматизации и тестирования интерфейсов в изолированных виртуальных средах.
- Скомбинировать с OCR-модулем из библиотеки
pixeltreeдля генерации готового текстового дерева элементов с центрами клика.
Пример
from huggingface_hub import hf_hub_download
from ultralytics import YOLO
weights = hf_hub_download("sentimentalk/pixeltree-detector", "pixeltree-detector-v1.pt")
boxes = YOLO(weights).predict("screenshot.png", imgsz=1280, conf=0.25)[0].boxesПодробнее
Метрики (class-agnostic F1 @0.25 / @0.45): 0.854 / 0.874 на незнакомых Linux-приложениях (strict F1 — 0.798), 0.787 / 0.813 на сайтах, 0.815 / 0.826 на gold-наборе Linux + macOS.Железо и обучение: размер весов 19 МБ; обучение заняло ~21 минуту на одной A100 (40 эпох, imgsz 1280, batch 12).
Ограничения: модель выдаёт только рамки и роли без текста и состояний (не знает, отмечен ли чекбокс); хуже распознаёт прогресс-бары (strict F1 0.145) и слайдеры (0.528); обучена в основном на светлой теме Linux и веба (1920×1080), тёмная тема снижает F1 на 0.019.
Лицензия: AGPL-3.0; не предназначена для проверки доступности (accessibility) и бесконтрольного управления реальными ПК.










Comments