MathVista: визуально-математический бенчмарк

Что внутри

MathVista — консолидированный бенчмарк математического рассуждения в визуальном контексте. В него входят три новых набора — IQTest, FunctionQA и PaperQA, которые закрывают недостающие визуальные домены. Задачи включают multiple-choice, question-answering, visual-question-answering и text-classification; языки — en, zh, fa. Размер — от 1K до 10K примеров.

Что можно сделать

• Оценить мультимодальную модель на визуально-математических задачах.
• Проверить vision-language модель на VQA и multiple-choice.
• Использовать как бенчмарк для сравнения моделей рассуждения.

Модели, обученные на нём

• mradermacher/VLM-R1-Qwen2.5VL-3B-Math-0305-GGUF 424
• Ferox-AI/Phi-4-multimodal-instruct-mlx-4bitКартинка + текст 144
• omlab/VLM-R1-Qwen2.5VL-3B-Math-0305Вопросы по картинкам 109
• ElliottWise/qwen3-vl-math 72
• Ferox-AI/Phi-4-multimodal-instruct-mlx-bf16Картинка + текст 66

Как загрузить

from datasets import load_dataset

ds = load_dataset("AI4Math/MathVista")