Датасет · xai-org
RealWorldQA: вопросы по реальным изображениям
xai-org/RealworldQA
Бенчмарк из 700+ реальных изображений с вопросами и проверяемыми ответами для мультимодальных моделей.
Что внутри
RealWorldQA — бенчмарк для понимания реального мира. В начальной версии более 700 анонимизированных изображений, снятых с транспортных средств, и других реальных фото; к каждому есть вопрос и легко проверяемый ответ. Датасет выпущен xAI и упоминается в анонсе Grok-1.5 Vision Preview. Язык не указан, формат — изображения и текстовые пары.
Что можно сделать
- Оценка VLM на реальных сценах
- Проверка вопрос-ответ по изображениям
- Сравнение мультимодальных моделей на бенчмарке
- Размер
- до 1K записей
- Скачиваний за месяц
- 6,3 тыс.
- Лайков
- 129
Как загрузить
from datasets import load_dataset
ds = load_dataset("xai-org/RealworldQA")