Датасет · moonshotai
Бенчмарк визуальных мировых знаний для MLLM
moonshotai/WorldVQA
Вопросы по изображениям для проверки атомарных мировых знаний мультимодальных моделей.
Что внутри
WorldVQA — бенчмарк для оценки атомарных визуально-центричных мировых знаний мультимодальных LLM. Он разделяет извлечение визуальных знаний и рассуждение, чтобы измерять именно «что модель знает». Включает изображения и вопросы на английском и китайском; размер — от 1 до 10 тыс. примеров.
Что можно сделать
- Оценка MLLM на визуальных мировых знаниях
- Сравнение vision-language моделей
- Диагностика разделения retrieval и reasoning
- Задачи
- Вопросы по картинкам
- Языки
- Английский, Китайский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,3 тыс.
- Лайков
- 67
Как загрузить
from datasets import load_dataset
ds = load_dataset("moonshotai/WorldVQA")