Датасет · neulab
Мультимодальный датасет веб-интерфейсов MultiUI (7,3 млн)
neulab/MultiUI
7,3 миллиона мультимодальных примеров с 1 миллиона сайтов для обучения веб-агентов и VLM-моделей.
Что внутри
Крупный англоязычный корпус к научной статье, содержащий 7,3 миллиона пар «текст + изображение», собранных с 1 миллиона веб-страниц с разнообразной вёрсткой. Данные размечены под задачи вопросно-ответных систем и визуального понимания интерфейсов (VQA). Авторы отмечают прирост точности веб-агентов до 19,1% и улучшение результатов на VisualWebBench до 48%.
Что можно сделать
- Обучение мультимодальных моделей (VLM) распознаванию элементов и текста на скриншотах сайтов
- Тренировка автономных браузерных ИИ-агентов для навигации и выполнения действий в веб-интерфейсах
- Задачи
- Вопрос-ответ, Вопросы по картинкам
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 837
- Лайков
- 53
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("neulab/MultiUI")