К содержимому

Датасет · moonshotai

Бенчмарк визуальных мировых знаний для MLLM

moonshotai/WorldVQA

Вопросы по изображениям для проверки атомарных мировых знаний мультимодальных моделей.

Что внутри

WorldVQA — бенчмарк для оценки атомарных визуально-центричных мировых знаний мультимодальных LLM. Он разделяет извлечение визуальных знаний и рассуждение, чтобы измерять именно «что модель знает». Включает изображения и вопросы на английском и китайском; размер — от 1 до 10 тыс. примеров.

Что можно сделать

  • Оценка MLLM на визуальных мировых знаниях
  • Сравнение vision-language моделей
  • Диагностика разделения retrieval и reasoning
Задачи
Вопросы по картинкам
Языки
Английский, Китайский
Размер
1K–10K записей
Скачиваний за месяц
2,3 тыс.
Лайков
67

Как загрузить

from datasets import load_dataset

ds = load_dataset("moonshotai/WorldVQA")