К содержимому

Датасет · mllmTeam

Скриншоты и иерархии интерфейсов Android-приложений

mllmTeam/MobileViews

Более 600 тыс. пар скриншотов и структур элементов (View Hierarchy) из 20+ тыс. приложений Google Play для мобильных агентов.

Что внутри

Первый релиз MobileViews-600K включает свыше 600 000 пар «скриншот экрана — иерархия элементов интерфейса (VH)» на английском языке. Данные собраны из более чем 20 000 приложений в Google Play Store с помощью модифицированного краулера DroidBot, фиксирующего детали взаимодействия. Набор создан для исследований мобильных ИИ-агентов и анализа UI.

Что можно сделать

  • Обучение мультимодальных агентов навигации и действиям в интерфейсах смартфонов
  • Обучение VLM-моделей распознаванию элементов управления и структуре экранов (image-to-text, QA)
Задачи
Вопрос-ответ, Картинка → текст
Языки
Английский
Скачиваний за месяц
3,5 тыс.
Лайков
45

Как загрузить

from datasets import load_dataset

ds = load_dataset("mllmTeam/MobileViews")