К содержимому

Датасет · ONE-Lab

Видео-бенчмарк для мультимодальных ИИ-агентов в интерфейсах

ONE-Lab/GUI-World

Датасет с видео и вопросами для оценки мультимодальных моделей в динамических GUI-средах.

Что внутри

Набор содержит от 10 до 100 тысяч примеров на английском языке с видеозаписями работы в графических интерфейсах и аннотациями. Разметка охватывает шесть сценариев использования GUI и восемь типов вопросов по интерфейсам. Датасет предназначен для проверки современных ImageLLM и VideoLLM в многошаговых задачах.

Что можно сделать

  • Оценка мультимодальных моделей и ИИ-агентов в навигации по интерфейсам
  • Обучение VideoLLM пониманию динамических действий на экране
Задачи
Вопрос-ответ, Генерация текста, Видео + текст
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
20,1 тыс.
Лайков
46

Как загрузить

from datasets import load_dataset

ds = load_dataset("ONE-Lab/GUI-World")