К содержимому

Датасет · bevaya

Бенчмарк поиска элементов интерфейса по тексту

bevaya/ScreenSpot

Более 1200 инструкций и скриншотов из iOS, Android, macOS, Windows и Web для оценки мультимодальных моделей.

Что внутри

Оценочный бенчмарк для задачи GUI grounding, созданный исследователями из Нанкинского университета и Shanghai AI Laboratory. Содержит более 1200 текстовых инструкций на английском языке в паре с размеченными скриншотами интерфейсов мобильных, десктопных и веб-систем. Предназначен для проверки того, насколько точно мультимодальные модели находят нужные элементы экрана по описанию.

Что можно сделать

  • Оценка мультимодальных моделей (LMM) в задачах навигации по интерфейсам
  • Тестирование ИИ-агентов, управляющих компьютером или смартфоном
Задачи
Генерация текста, Картинка → текст
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
3,7 тыс.
Лайков
53

Как загрузить

from datasets import load_dataset

ds = load_dataset("bevaya/ScreenSpot")