Датасет · nyu-visionx
Бенчмарк визуально-пространственного VQA по видео
nyu-visionx/VSI-Bench
Видео-вопросы для проверки визуально-пространственного понимания у мультимодальных моделей.
Что внутри
Датасет для visual-question-answering: видео и текстовые вопросы на английском, от 10 до 100 тыс. примеров. В карточке упоминается подмножество VSI-Bench-Debiased — ручной пилот с фильтрацией по типам вопросов, а не результат автоматического Iterative Bias Pruning. Доступны ссылки на arXiv, сайт и код.
Что можно сделать
- Оценивать видеомультимодальные модели на пространственных вопросах
- Дообучать VLM отвечать по видео
- Проверять устойчивость к смещениям на Debiased-подмножестве
- Задачи
- Вопросы по картинкам
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 21,7 тыс.
- Лайков
- 78
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nyu-visionx/VSI-Bench")