К содержимому

Датасет · visheratin

Бенчмарк пространственного понимания RealWorldQA от xAI

visheratin/realworldqa

765 реальных фотографий с вопросами и ответами от xAI для проверки мультимодальных моделей.

Что внутри

Бенчмарк, выпущенный компанией xAI вместе с анонсом Grok-1.5 Vision для оценки базового пространственного понимания реального мира у VLM. Набор на английском языке включает 765 изображений, к каждому из которых прилагается вопрос и легко проверяемый ответ.

Что можно сделать

  • Оценка пространственного мышления мультимодальных моделей (VQA)
  • Сравнение визуальных моделей на сложных для ИИ бытовых сценах
Задачи
Вопросы по картинкам
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
230
Лайков
39

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("visheratin/realworldqa")