Датасет · 1fanj
Бенчмарк для проверки визуального анализа графиков
1fanj/Chartographer
Набор пар «график — вопрос» на английском языке для оценки того, действительно ли VLM-модели анализируют изображения, а не угадывают ответы.
Что внутри
В датасете собраны графики и вопросы к ним (от 1 000 до 10 000 примеров) на английском языке. Каждое семейство примеров включает оригинальный график, его воссозданную версию и десять изменённых вариантов с сохранением идентификаторов графика и вопроса. Такой подход позволяет проверить, опирается ли модель на визуальное мышление при ответе.
Что можно сделать
- Оценка мультимодальных моделей (VLM) на устойчивость к изменению данных на графиках
- Тестирование систем визуального ответа на вопросы (VQA) без опоры на заученные шаблоны
- Задачи
- Вопросы по картинкам, Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 23,7 тыс.
- Лайков
- 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("1fanj/Chartographer")