К содержимому

Датасет · 1fanj

Бенчмарк для проверки визуального анализа графиков

1fanj/Chartographer

Набор пар «график — вопрос» на английском языке для оценки того, действительно ли VLM-модели анализируют изображения, а не угадывают ответы.

Что внутри

В датасете собраны графики и вопросы к ним (от 1 000 до 10 000 примеров) на английском языке. Каждое семейство примеров включает оригинальный график, его воссозданную версию и десять изменённых вариантов с сохранением идентификаторов графика и вопроса. Такой подход позволяет проверить, опирается ли модель на визуальное мышление при ответе.

Что можно сделать

  • Оценка мультимодальных моделей (VLM) на устойчивость к изменению данных на графиках
  • Тестирование систем визуального ответа на вопросы (VQA) без опоры на заученные шаблоны
Задачи
Вопросы по картинкам, Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
23,7 тыс.
Лайков
3

Как загрузить

from datasets import load_dataset

ds = load_dataset("1fanj/Chartographer")