К содержимому

Датасет · allenai

Синтетические пары «картинка — вопрос-ответ» (VQA)

allenai/CoSyn-400K

Коллекция сгенерированных изображений и пар вопрос-ответ на основе исполняемого кода от AllenAI.

Что внутри

Набор мультимодальных данных, где к сгенерированным на компьютере изображениям приложены пары вопросов и ответов (объем в диапазоне от 100K до 1M). Картинки получены путем рендеринга кода, написанного моделью Claude, а вопросы и ответы сгенерированы GPT-4o mini напрямую по этому коду без просмотра самого изображения.

Что можно сделать

  • Обучение и дообучение мультимодальных моделей (VLM) на задачах Visual Question Answering
  • Тренировка моделей точному чтению графиков, схем и синтетических визуальных сцен
  • Оценка способности нейросетей отвечать на вопросы по структурированным изображениям
Задачи
Вопросы по картинкам
Размер
100K–1M записей
Скачиваний за месяц
8,2 тыс.
Лайков
54

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/CoSyn-400K")