Бенчмарк для оценки vision-language моделей

Что внутри

DatBench — курируемый оценочный набор для vision–language моделей. По карточке, он должен быть faithful, discriminative и efficient, а современные VLM-бенчмарки часто завышают возможности из-за multiple-choice inflation, language-only shortcuts, шума аннотаций и лишних слабых примеров. В метаданных указаны модальности image и text и размер от 100K до 1M.

Что можно сделать

• Оценка VLM на устойчивость к shortcuts
• Сравнение моделей без multiple-choice inflation
• Отбор примеров для эффективного бенчмарка

Как загрузить

from datasets import load_dataset

ds = load_dataset("DatologyAI/DatBench-Full")