К содержимому

Датасет · neulab

Мультимодальный датасет веб-интерфейсов MultiUI (7,3 млн)

neulab/MultiUI

7,3 миллиона мультимодальных примеров с 1 миллиона сайтов для обучения веб-агентов и VLM-моделей.

Что внутри

Крупный англоязычный корпус к научной статье, содержащий 7,3 миллиона пар «текст + изображение», собранных с 1 миллиона веб-страниц с разнообразной вёрсткой. Данные размечены под задачи вопросно-ответных систем и визуального понимания интерфейсов (VQA). Авторы отмечают прирост точности веб-агентов до 19,1% и улучшение результатов на VisualWebBench до 48%.

Что можно сделать

  • Обучение мультимодальных моделей (VLM) распознаванию элементов и текста на скриншотах сайтов
  • Тренировка автономных браузерных ИИ-агентов для навигации и выполнения действий в веб-интерфейсах
Задачи
Вопрос-ответ, Вопросы по картинкам
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
837
Лайков
53
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("neulab/MultiUI")