Датасет · bevaya
Бенчмарк поиска элементов интерфейса по тексту
bevaya/ScreenSpot
Более 1200 инструкций и скриншотов из iOS, Android, macOS, Windows и Web для оценки мультимодальных моделей.
Что внутри
Оценочный бенчмарк для задачи GUI grounding, созданный исследователями из Нанкинского университета и Shanghai AI Laboratory. Содержит более 1200 текстовых инструкций на английском языке в паре с размеченными скриншотами интерфейсов мобильных, десктопных и веб-систем. Предназначен для проверки того, насколько точно мультимодальные модели находят нужные элементы экрана по описанию.
Что можно сделать
- Оценка мультимодальных моделей (LMM) в задачах навигации по интерфейсам
- Тестирование ИИ-агентов, управляющих компьютером или смартфоном
- Задачи
- Генерация текста, Картинка → текст
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 3,7 тыс.
- Лайков
- 53
Как загрузить
from datasets import load_dataset
ds = load_dataset("bevaya/ScreenSpot")