Датасет•MMMU/MMMU
Бенчмарк по мультимодальному пониманию и reasoning: вопросы с изображениями из многих дисциплин.
- Вопрос-ответ
- Вопросы по картинкам
- multiple choice
- Английский
94,9 тыс. 34710K–100K записей
Датасет•bshada/open-schematics
Крупнейший набор схем и PCB: исходники, изображения, метаданные и связанные файлы плат.
- Генерация текста
- Картинка → текст
- Текст → картинка
- Английский
56,9 тыс. 20410K–100K записей
Датасет•AI4Math/MathVista
Бенчмарк математического рассуждения по изображениям: IQTest, FunctionQA и PaperQA; языки en, zh, fa.
- multiple choice
- Вопрос-ответ
- Вопросы по картинкам
- Английский
- Китайский
- Персидский
41 тыс. 2371K–10K записей
Датасет•MMMU/MMMU_Pro
Вопросы с изображениями и текстом по разным дисциплинам для проверки мультимодального понимания.
- Вопрос-ответ
- Вопросы по картинкам
- multiple choice
- Английский
37,9 тыс. 1021K–10K записей
Датасет•derek-thomas/ScienceQA
Мультимодальный английский датасет научных вопросов с вариантами ответов и изображениями.
- multiple choice
- Вопрос-ответ
- Другое
- Английский
36,3 тыс. 24410K–100K записей
Датасет•ma-xu/fine-t2iИнтересное
Крупный открытый набор пар «изображение–текст» на английском для качественного дообучения T2I-моделей.
- Картинка → текст
- Текст → картинка
- Английский
34,1 тыс. 134100K–1M записей
Датасет•ARTPARK-IISc/VaaniИнтересное
31 тыс. часов спонтанной речи по изображениям на 105 языках Индии, с транскриптами для ASR и мультимодальных задач.
- Распознавание речи
- Синтез речи
- Картинка → текст
- ne
- as
- ml
- +9
28,6 тыс. 1951M–10M записей🔒 по запросу
Датасет•HuggingFaceM4/DocmatixИнтересное
Огромный англоязычный набор для Document VQA, использованный при дообучении Idefics3.
- Вопросы по картинкам
- Английский
24,6 тыс. 3191M–10M записей
Датасет•MathLLMs/MathVision
Визуальные математические задачи с изображениями и текстом для проверки VLM.
- Вопрос-ответ
- multiple choice
- Вопросы по картинкам
- Английский
15,3 тыс. 1841K–10K записей
Датасет•UCSC-VLAA/Recap-DataComp-1BИнтересное
Крупный image-text корпус DataComp-1B с улучшенными подписями от LLaVA-1.5-LLaMA3-8B.
- Zero-shot классификация
- Поиск по текстам
- Картинка → текст
15,2 тыс. 2131B–10B записей
Датасет•pixparse/idl-wds
Миллионы страниц документов с PDF, TIFF-изображениями и OCR-аннотациями для обучения распознаванию.
14 тыс. 2061M–10M записей
Датасет•ShadenA/MathNet
Задачи из стран и соревнований с изображениями и текстом для QA и генерации решений.
- Вопрос-ответ
- Генерация текста
- Картинка → текст
- Английский
- Португальский
- Испанский
- +9
14 тыс. 10510K–100K записей
Датасет•huggan/wikiart
81 444 изображения искусства с метками художника, жанра и стиля.
- Классификация картинок
- Текст → картинка
- Картинка → текст
11,6 тыс. 24810K–100K записей
Датасет•google-research-datasets/conceptual_captions
~3,3 млн веб-изображений с подписями из alt-текста для обучения image-to-text.
- Картинка → текст
- Английский
10,9 тыс. 1121M–10M записей
Датасет•Open-Bee/Honey-Data-15M
15 млн пар «изображение — текст» на английском для обучения и проверки открытых мультимодальных моделей.
- Картинка + текст
- Английский
9,2 тыс. 12110M–100M записей
Датасет•ShareGPT4Video/ShareGPT4Video
4.8M мультимодальных GPT4-Vision-описаний видео для LVLM и text-to-video моделей.
- Вопросы по картинкам
- Вопрос-ответ
- Английский
9 тыс. 21510K–100K записей
Датасет•flaviagiammarino/vqa-rad
Пары вопрос-ответ к медицинским изображениям из MedPix для обучения и тестирования VQA.
- Вопросы по картинкам
- Английский
5,4 тыс. 1051K–10K записей
Датасет•kakaobrain/coyo-700m
Крупный корпус пар alt-текст и изображение из HTML для обучения мультимодальных моделей.
- Текст → картинка
- Картинка → текст
- Zero-shot классификация
- Английский
4,9 тыс. 177100M–1B записей
Датасет•opendatalab/ChartVerse-SFT-1.8MИнтересное
1,8 млн пар вопрос-ответ по графикам с Chain-of-Thought аннотациями для обучения VLM.
- Вопросы по картинкам
- Картинка + текст
- Английский
4,6 тыс. 1411M–10M записей
Датасет•ProGamerGov/synthetic-dataset-1m-dalle3-high-quality-captions
Миллион+ AI-изображений с подробными английскими подписями для генерации и описания картинок.
- Текст → картинка
- Классификация картинок
- Картинка → текст
- Английский
3,3 тыс. 1621M–10M записей
Датасет•OpenDataArena/MMFineReason-1.8M-Qwen3-VL-235B-ThinkingИнтересное
1,8 млн мультимодальных примеров с подробными рассуждениями, дистиллированными из Qwen3-VL-235B-Thinking.
- Вопросы по картинкам
- Вопрос-ответ
- Генерация текста
- Английский
3,1 тыс. 1271M–10M записей
Датасет•openbmb/RLAIF-V-Dataset
Изображения и текст на английском для обучения и проверки доверенных мультимодальных моделей через RLAIF.
- Картинка + текст
- Вопросы по картинкам
- Мультимодальные
- Английский
2,6 тыс. 22710K–100K записей
Датасет•zzliang/GRIT
Крупный корпус пар изображение-текст, где фразы из подписи привязаны к соответствующим областям картинки.
- Текст → картинка
- Картинка → текст
- Детекция объектов
- Английский
2 тыс. 16910M–100M записей
Датасет•facebook/winoground
Пары картинок и подписей с одинаковыми словами в разном порядке для проверки vision-language моделей.
- Картинка → текст
- Текст → картинка
- Классификация картинок
- Английский
1,8 тыс. 123до 1K записей🔒 по запросу