Датасет · google
Бенчмарк визуального рассуждения в полярных координатах
google/polaris-bench
Официальный бенчмарк от Google DeepMind и Стэнфорда для проверки визуального рассуждения MLLM в полярной системе координат.
Что внутри
Набор данных для оценки мультимодальных языковых моделей (MLLM) на английском языке, включающий от 10 до 100 тысяч пар изображений и текстов. Задачи оформлены в формате визуальных вопросов-ответов (VQA) и тестов с множественным выбором, проверяющих способность моделей рассуждать в полярных координатах вместо привычных декартовых.
Что можно сделать
- Оценка пространственного мышления мультимодальных LLM без опоры на декартовы шаблоны
- Сравнение и бенчмаркинг открытых и проприетарных VLM-моделей
- Тестирование устойчивости визуальных энкодеров к нестандартным системам координат
- Задачи
- Вопросы по картинкам, multiple choice
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 627
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/polaris-bench")