Бенчмарк MATH-Vision для мультимодальной математики

Что внутри

MATH-Vision — бенчмарк для измерения мультимодального математического рассуждения. Включает задачи question-answering, multiple-choice, visual-question-answering и image-to-text; модальности — изображение и текст, язык — английский, размер — 1K<n<10K. Есть вариант MATH-Vision-Wild: те же testmini-задачи сфотографированы на бумаге, iPad, ноутбуках и проекторах при разном освещении и ракурсах.

Что можно сделать

• Оценка VLM на визуальных математических задачах
• Сравнение моделей по лидербордам MATH-Vision
• Проверка устойчивости VLM к реальным фото задач

Модели, обученные на нём

• ElliottWise/qwen3-vl-math 72
• TFJiangxiLab/TianJiangZhuGe_3B 14
• JaySc/Cosmic-Combo1 0

Как загрузить

from datasets import load_dataset

ds = load_dataset("MathLLMs/MathVision")