UI controls detector
детектор интерфейсных элементов
1 мин чтенияобновлено
Модель на базе RF-DETR-Medium, обученная находить кликабельные элементы на скриншотах веб-страниц и классифицировать их на иконки, текстовые элементы управления и поля ввода. Чекпоинт обучен на 599 скриншотах с разметкой из структуры страниц. Модель отличается высокой скоростью работы (0.3 секунды на изображение на Apple M-series) и меньшим размером весов по сравнению с аналогами. Она пригодится разработчикам и исследователям, занимающимся автоматизацией браузера и анализом веб-интерфейсов.
Ключевые особенности
- Находит иконки, текстовые кнопки и поля ввода на скриншотах 1440×900
- Высокая скорость работы: 0.3 секунды на картинку на процессорах Apple M-series
- Компактный размер весов (142 МБ)
- Показывает точность определения элементов 91.6% при пороге 0.2
Что можно сделать
- Использовать для анализа скриншотов веб-страниц в пайплайнах автоматизации
- Автоматически извлекать координаты кликабельных зон интерфейса
- Интегрировать детектор в скрипты на Python с помощью библиотеки rfdetr
Пример
from PIL import Image
from rfdetr import RFDETRMedium
model = RFDETRMedium(pretrain_weights="ui-controls-rfdetr-medium-1280.pth", resolution=1280)
det = model.predict(Image.open("screenshot.png").convert("RGB"), threshold=0.2)
for box, cls, score in zip(det.xyxy, det.class_id, det.confidence):
print(["icon", "text_control", "input"][cls], [round(v) for v in box], round(float(score), 2))Подробнее
Метрики: находит 91.6% элементов при пороге 0.2 и до 96.3% при низких порогахОграничения: протестирована только на веб-страницах с разрешением 1440×900
Разметка: получена автоматически из структуры страниц и OCR
Лицензия: Apache 2.0










Комментарии