К содержимому

Датасет · google

Бенчмарк визуального рассуждения в полярных координатах

google/polaris-bench

Официальный бенчмарк от Google DeepMind и Стэнфорда для проверки визуального рассуждения MLLM в полярной системе координат.

Что внутри

Набор данных для оценки мультимодальных языковых моделей (MLLM) на английском языке, включающий от 10 до 100 тысяч пар изображений и текстов. Задачи оформлены в формате визуальных вопросов-ответов (VQA) и тестов с множественным выбором, проверяющих способность моделей рассуждать в полярных координатах вместо привычных декартовых.

Что можно сделать

  • Оценка пространственного мышления мультимодальных LLM без опоры на декартовы шаблоны
  • Сравнение и бенчмаркинг открытых и проприетарных VLM-моделей
  • Тестирование устойчивости визуальных энкодеров к нестандартным системам координат
Задачи
Вопросы по картинкам, multiple choice
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
627
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("google/polaris-bench")