Датасет · OpenGVLab
Бенчмарк для ИИ-агентов, управляющих интерфейсами
OpenGVLab/MMBench-GUI
Набор тестов для проверки мультимодальных агентов в работе с графическими интерфейсами на шести платформах.
Что внутри
Это иерархический бенчмарк от OpenGVLab, состоящий из изображений экранов и текстовых задач для проверки агентов автоматизации GUI. Он охватывает Windows, macOS, Linux, iOS, Android и веб-интерфейсы, проверяя понимание контента, поиск элементов и выполнение задач.
Что можно сделать
- Оценка мультимодальных моделей в роли ИИ-агентов для управления компьютером и смартфоном
- Тестирование точности распознавания и поиска кликабельных элементов на скриншотах
- Задачи
- Картинка + текст
- Скачиваний за месяц
- 718
- Лайков
- 38
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenGVLab/MMBench-GUI")